* ft 



E D U F B A 



Avaliação educacional 

desatando e reatando nós 


Jose Albertino Carvalho Lordêlo 
Maria Virgínia Dazzani 
(orgs.) 


SciELO Books / SciELO Livros / SciELO Libros 

LORDÊLO, JAC., and DAZZANI, MV., orgs. Avaliação educacional, desatando e reatando nós. 
Salvador: EDUFBA, 2009. 349 p. ISBN 978-85-232-0931-5. Available from SciELO Books 
< http://books.scielo.org >. 



All the contents of this chapter, except where otherwise noted, is licensed under a Creative Commons 
Attribution-Non Commercial-ShareAlike 3.0 Unported. 

Todo o conteúdo deste capítulo, exceto quando houver ressalva, é publicado sob a licença Creative 
Commons Atribuição - Uso Não Comercial - Partilha nos Mesmos Termos 3.0 Não adaptada. 

Todo el contenido de este capítulo, excepto donde se indique lo contrario, está bajo licencia de 
la licencia Creative Commons Reconocimento-NoComercial-Compartirlgual 3.0 Unported. 


AVALIAÇÃO EDUCACIONAL 
desatando e reatando nós 


UNIVERSIDADE FEDERAL DA BAHIA 


Reitor 

Naomar Monteiro de Almeida Filho 
Vice Reitor 

Francisco José Gomes Mesquita 


EDITORA DA UNIVERSIDADE FEDERAL DA BAHIA 

Diretora 

Flávia Goullart Mota Garcia Rosa 

CONSELHO EDITORIAL 
Titulares: 

Ângelo Szaniecki Perret Serpa 
Caiuby Alves da Costa 
Charbel Ninõ El-Hani 
Dante Eustachio Lucchesi Ramacciotti 
José Teixeira Cavalcante Filho 
Alberto Brum Novaes 

Suplentes: 

Antônio Fernando Guerreiro de Freitas 
Evelina de Carvalho Sá Hoisel 
Cleise Furtado Mendes 
Maria Vidal de Negreiros Camargo 


FACULDADE DE EDUCAÇÃO 

PROGRAMA DE PESQUISA E PÓS-GRADUAÇÃO EM EDUCAÇÃO 
Linha de Pesquisa: Política e Gestão da Educação 


®CNPq 

Conselho Nacional de Desenvolvimento 
Científico e Tecnológico 


AVALIAÇÃO EDUCACIONAL 
desatando e reatando nós 


José Albertino Carvalho Lordêlo 
Maria Virgínia Dazzani 

ORGANIZADORES 



E D U F B A 


Salvador 

2009 


©2009 by José Albertino Carvalho Lordêlo e Maria Virgínia Dazzani 
Direitos para esta edição cedidos à Editora da Universidade 
Federal da Bahia. 

Feito o depósito legal. 

PROJETO GRÁFICO & DIAGRAMAÇÃO 
Genilson Lima Santos 

CAPA 

Alberto Batinga Pinheiro 
REVISÃO 

Álvaro Cardoso de Souza 

NORMALIZAÇÃO 
Sônia Chagas Vieira 


UFBA / Faculdade de Educação - Biblioteca Anísio Teixeira 


A945 Avaliação educacional : desatando e reatando nós / José Albertino Carvalho 
Lordêlo, Maria Virgínia Dazzani (organizadores). - Salvador: EDUFBA, 
2009. 

349 p. 

ISBN: 978-85-232-0654-3 

1. Avaliação educacional. 2. Ensino superior - Avaliação. 3. Educação e 
estado. I. Lordêlo, José Albertino Carvalho. II. Dazzani, Maria Virgínia. 


CDD 371.26-22. ed. 


Editora filiada à: 





Asorlaeión cie liclilorlalcs Unlvcrsll. 
de América l.a( Ina y cl Caribe 


Associação Brasileira 
das Editoras Universitárias 


Câmara Bahiana do Livro 


EDUFBA Rua Barão de Jeremoabo, s/n Campus de Ondina, 
Salvador - Bahia CEP 40170 115 Tel/fax 71 3283 6164 
www.edufba.ufba.br edufba@ufba.br 



Sumário 


Introdução 7 

Avaliação de políticas educacionais: contexto e 
conceitos em busca da avaliação pública 17 

Lanara Guimarães de Souza (UNEB) 

A avaliação da educação superior no Brasil: 
desafios e perspectivas 31 

Robinson Moreira Tenório (UFBA) 

Maria Antonia Brandão de Andrade (UFBA, CAPES, CNPq) 

A avaliação como uma política pública: aspectos 
da implementação do SINAES 57 

Jorge Luiz Lordêlo de Sales Ribeiro (UFBA) 

Poder, representação, participação, conhecimento 
e decisão: a CPA da UFBA 85 

José Albertino Carvalho Lordêlo (UFBA) 

Márcia Pontes (UFBA) 

SINAES na perspectiva de membros da CPA: 
implantação, condução e avaliação 103 

Robinson Moreira Tenório (UFBA) 

Rivailda Silveira Nunes de Argollo (IFBA) 

A avaliação como instrumento de aperfeiçoamento 
do ensino em odontologia 123 

Mariângela Silva Matos (UFBA) 

Robinson Moreira Tenório (UFBA) 

Resultados preliminares do CERES 2005 para equidade nos 
sistemas de ensino de cinco centros urbanos brasileiros 155 

Paulo A. Meyer M. Nascimento (IPEA) 

Robert E. Verhine (UFBA) 

A avaliação do desempenho de alunos de educação superior: 
uma análise a partir da experiência do ENADE 173 

Robert E. Verhine (UFBA) 

Lys M. V. Dantas (FAPESB) 

Identidade, avaliação e desempenho escolar 201 

Marcos Emanoel Pereira (UFBA) 


Ameaça dos estereótipos no desempenho intelectual 
de estudantes universitários cotistas 225 

Joice Ferreira da Silva (Mestre em Psicologia/UFBA) 

Marcos Emanoel Pereira (UFBA) 

Família, escola e desempenho acadêmico 249 

Maria Virgínia Dazzani (Instituto de Psicologia/UFBA) 

Marcelo Faria (Departamento de Educação/UNEB) 

Fatores associados ao desempenho escolar na 
4 a série do ensino fundamental 265 

Rosana de Freitas Castro (UFBA) 

School effectiveness in primary schools: the role of school 
climate and composition characteristics 297 

Claudia Schuchart (University of Wuppertal, Alemanha) 

How good is maimonides’ ru/e? strengths and pitfalls of using 
institutional rules as instruments to assess class size effects 

Paulo A. Meyer M. Nascimento (IPEA) 

Sobre os autores 347 


325 


Introdução 


DESATANDO E REATANDO NÓS 

A avaliação do contexto da instituição educacional tem sido objeto 
de uma vastíssima literatura especializada - de artigos e teses acadê- 
micas - e produzido incontáveis livros. Podemos tratar desse tema 
de vários ângulos, desde o ponto de vista estritamente didático e 
das estratégias de avaliação da aprendizagem escolar até questões 
epistemológicas, sociais e políticas que estão implicadas na insti- 
tuição educacional e em outras instituições que envolvem relações 
de saber-poder. 

O Brasil de hoje ainda tem um grande desafio: uma educação 
que concilie, de um lado, a qualidade e excelência e, do outro, que 
pratique valores que contribuam para a democratização da sociedade. 
Todos temos - mesmo que apenas empiricamente - uma ideia das 
dificuldades pedagógicas, econômicas e políticas, como se fossem 
“nós cegos”, que precisamos enfrentar e desatar para que esse grande 
desafio seja superado. Do mesmo modo, são muitas e diferentes 
as perspectivas que estão em frequente disputa para interpretar e 
propor novas estratégias, tais como pontas soltas que devemos nos 
esforçar para convergir e “amarrar”. 

Este livro segue essas direções, expressando um explícito compro- 
misso com a qualidade e democratização da educação e praticando 
um diálogo que envolve muitas vozes - desatando e reatando “nós”. 
Um compromisso que quisemos compartilhar com o leitor, especia- 
lista ou não. 

No primeiro capítulo. Avaliação de políticas educacionais: contexto e 
conceitos em busca da avaliação pública, Lanara Guimarães de Souza 
trata do tema da avaliação à luz de uma reflexão sobre políticas 
educacionais. Para a autora, a avaliação de políticas educacionais, 
entendida como um processo sistemático, formativo, cuja constru- 
ção e gestão são rea l i z adas com a participação de todos os agentes 
envolvidos, é um tema complexo que se insere no debate mais amplo 
sobre políticas públicas e qualidade da educação. 
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0 objetivo desse capítulo é fazer uma reflexão sobre o campo da 
avaliação na área das políticas públicas, destacando alguns de seus 
pressupostos e fundamentos, no atual contexto brasileiro, especifi- 
camente, no tocante ao caráter público da avaliação. A avaliação de 
políticas educacionais envolve autoavaliação, avaliação de programas 
e de projetos à política vinculada, que tem por objetivo a melhoria 
da qualidade da aprendizagem. Na primeira parte, Lanara Souza 
aborda as questões conceituais da temática e na contextualização do 
debate sobre o tema a partir da década de 90. Em seguida, destaca 
algumas questões de caráter conceituai e político-pedagógico pre- 
sentes na literatura e que parecem fundamentais na implantação e 
gestão de um processo de avaliação de políticas públicas, tais como: 
a participação dos envolvidos no processo, a natureza dos dados 
sistematizados e a politização das ações avaliativas, superando o 
caráter eminentemente técnico que costumam ter. 

O segundo capítulo assinado em coautoria, de Robinson Moreira 
Tenório e Maria Antonia Brandão de Andrade, discute os desafios e 
perspectivas da avaliação da educação superior no Brasil. Segundo os 
autores, a avaliação da educação superior tem se definido como um 
ponto estratégico na articulação e gestão das políticas educativas. A 
preocupação com a qualidade oferecida pelas Instituições de Ensino 
Superior (IES) tem desencadeado uma série de argumentos e ações 
de ordem institucional e estatal na busca pelo amadurecimento do 
campo avaliativo. 

No Brasil, as recomendações do novo modelo de administração 
pública gerencial têm provocado alterações no campo educacional 
no que se refere à organização jurídica das instituições de ensi- 
no, a exemplo de novos processos de regulação e gestão. Esse fato 
acarreta no desenvolvimento de políticas educacionais voltadas 
para o atendimento da ideologia neoliberal, cuja lógica deveria 
acompanhar a orientação do campo econômico. Assim, a articulação 
entre a educação e a produção de conhecimento deverá estar sob a 
égide do binômio privatização-mercantilização da educação, tendo 
como interlocutores os organismos internacionais, a exemplo do 
Banco Mundial. Por outro lado, a falta de financiamento público e 
a recomendação da privatização desse nível de ensino implicam a 
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crise das universidades públicas, acarretando profundas mudanças 
no cenário da educação superior brasileira. 

A organicidade do sistema de educação superior, diante de tais 
premissas, toma como referência a própria diversificação do finan- 
ciamento, bem como a padronização de um processo de avaliação 
centrado no processo de reforma da educação no país, cujas políticas 
se voltam, prioritariamente, para as atividades de ensino, mediante 
adoção de critérios normativos e avaliações parciais gerenciados 
pelo próprio Estado. 

O objetivo deste capítulo reside, portanto, em compreender e 
discutir a trajetória da avaliação da educação superior, seus avanços 
e possibilidades nas últimas décadas, sobretudo a partir dos anos 
90, neste cenário de diversificação e oferta, que tem constituído 0 
sistema educacional brasileiro. 

Os capítulos seguintes verticalizam essa temática, concentrando- 
se numa discussão crítica em torno do Sistema Nacional de Avaliação 
da Educação Superior (SINAES). No capítulo três, A avaliação como 
uma política pública, Jorge Luiz Lordêlo de Sales Ribeiro considera 
que apesar do grande número de trabalhos e da diversificação dos 
aspectos estudados, a avaliação é sempre vista como uma ferramenta 
para aferição. Daí sua utilização como elemento indicador do nível 
de execução de uma atividade (se obteve sucesso ou insucesso), 
como indicador de qualidade de uma atividade ou de um conjunto 
delas, como elemento para apontar caminhos no processo decisório 
na gestão institucional, como medidor do nível de aprendizagem, 
etc. Para ele, porém, a avaliação pode cumprir outros importantes 
papéis. Este capítulo caracteriza 0 Sistema Nacional de Avaliação 
da Educação Superior como uma política pública, ou seja, como um 
conjunto de regras e objetivos que direcionam as práticas de uma 
atividade pública, identificando os procedimentos e as estratégias 
utilizadas para a sua implementação. 

Os capítulos quatro, cinco e seis analisam criticamente duas 
experiências de avaliação nesse cenário. José Albertino Carvalho 
Lordêlo e Márcia Pontes discutem o caso da Comissão Própria de 
Avaliação (CPA) da UFBA e Robinson Moreira Tenório e Rivailda 
Silveira Nunes de Argollo fazem algo semelhante em relação ao 
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Instituto Federal de Educação Ciência e Tecnologia (antigo CEFET-BA). 
Mesmo tratando de dois casos pontuais, esses capítulos oferecem 
excelentes elementos para entendermos os desafios da avaliação 
institucional. 

O propósito do trabalho de José Albertino Carvalho Lordêlo e 
Márcia Pontes, partindo de conceitos como “poder”, “representa- 
ção”, “participação”, “conhecimento” e “decisão” e de uma reflexão 
epistemológico-conceitual, é descrever, tecer considerações acerca 
da necessidade de conciliação entre as dimensões política e técnica 
inerentes a esses processos. Recorrendo a referências de autores e 
temas de filosofia e ciência política, o capítulo aborda particular- 
mente a atuação da CPA/UFBA, enquanto instância de avaliação 
institucional da educação superior, centrando-se na experiência dos 
sujeitos envolvidos em diferentes momentos. 

Robinson Moreira Tenório e Rivailda Argollo, por sua vez, 
retomam considerações gerais sobre a implantação do Sistema Na- 
cional de Avaliação da Educação Superior (SINAES). Este capítulo 
contribui nessa discussão ao aproximar a teoria (aqui referenciada 
no arcabouço legal que institui o SINAES) da prática em uma Institui- 
ção de Ensino Superior, neste caso, o Instituto Federal de Educação 
Ciência e Tecnologia da Bahia. Assim como o capítulo precedente, 
os autores tratam do tema a partir da experiência dos membros da 
Comissão Própria de Avaliação (CPA) na condução e implantação da 
autoavaliação institucional. A análise abarca pesquisa documental 
e bibliográfica, enquanto a análise prática recorre a questionários, 
observações assistemáticas, experiências e reflexões de membros da 
CPA que atuaram como representantes dos segmentos dos alunos, 
dos docentes e do corpo técnico-administrativo. Por fim, o capítulo 
elenca limites e possibilidades do Sistema e da prática avaliativa na 
Instituição, constata que a amplitude, complexidade e diversidade do 
sistema federal, das Instituições de Ensino Superior e das dimensões 
avaliadas evidenciam um longo caminho para o necessário aperfei- 
çoamento do processo avaliativo. 

O sexto capítulo faz uma leitura fina de uma outra experiência 
de avaliação institucional. Mariângela Silva Matos e Robinson 
Moreira Tenório assinam o capítulo intitulado A avaliação como ins- 


trumento de aperfeiçoamento do ensino em odontologia que, além de uma 
minuciosa revisão do marco legal e atenta análise crítica da referida 
experiência de avaliação, formula instigantes sugestões conceituais 
e metodológicas. Seu ponto de partida é o fato de que o Brasil não 
tem uma tradição em avaliar o seu sistema educacional. 

O sétimo capítulo, escrito por Paulo A. Meyer M. Nascimento 
e Robert E. Verhine, faz um estudo comparativo de sistemas de 
avaliação educacional. Há um pressuposto segundo o qual a educação 
costuma ser percebida tanto quanto um investimento em capital 
humano quanto como um direito. Independentemente de qual 
desses dois ângulos os estudos econômicos no campo da Educação 
privilegiam, objetivos de política associados à equidade também 
deveriam ser incorporados à análise - não somente considerados 
como objetivos secundários em relação ao da eficiência. Entretanto, 
as avaliações de sistemas escolares concentram-se tradicionalmente 
em rankings baseados apenas em uma única medida de desempenho 
- ignorando que as notas obtidas por estudantes em tais testes não 
são exclusivamente determinadas pela sua passagem pelos sistemas 
de ensino; são, outrossim, fortemente influenciadas pela experiência 
de vida, contexto psicossocial e cultural, história, habilidades previa- 
mente desenvolvidas e, principalmente, pelo conjunto de condições 
socioeconômicas a que estão sujeitos e sujeitas todo cidadão e toda 
cidadã ao longo de seus ciclos escolares. 

Esse capítulo avalia cinco sistemas educacionais urbanos do Brasil 
sob a perspectiva da equidade: notas obtidas em um teste de Leitura 
aplicado no final de 2005 são confrontadas com o desempenho 
inicial do mesmo grupo de alunos e alunas no início daquele ano 
letivo. O progresso de aprendizagem então aferido é que é 0 objeto 
analisado, em termos tanto da variação total da aprendizagem do 
grupo, como da variação observada entre as escolas e dentro das 
escolas da amostra. Assim, busca-se um desenho inicial do quadro 
de segregação e seletividade de estudantes, e consequências disso 
para a equidade dos respectivos sistemas. 

O capítulo A avaliação do desempenho de alunos de educação superior: 
uma análise a partir da experiência do ENADE de Robert E. Verhine e Lys 
M. V. Dantas apresenta uma análise da avaliação do desempenho de 
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alunos da Educação Superior desde a experiência do ENADE em seu 
primeiro ciclo (2004-2006). O texto apresenta um breve panorama 
histórico que situa e identifica 0 Exame e descreve as principais ten- 
dências observadas quanto ao desempenho e ao perfil dos alunos que 
participaram no referido período. Em seguida, focaliza cinco eixos de 
reflexão para os quais discute os pontos críticos principais. São eles: 
a pertinência do Exame, a sua finalidade, seu caráter obrigatório e 
a (falta de) equidade, a qualidade dos instrumentos, e 0 cálculo do 
Conceito ENADE e do IDD. Nas considerações finais, são sintetizadas 
algumas sugestões para 0 refinamento do ENADE e para a consolida- 
ção do Sistema Nacional de Avaliação da Educação Superior. 

Os capítulos subsequentes discutirão vários aspectos da ideia 
de “desempenho escolar”. O nono capítulo, Identidade, avaliação e 
desempenho, escrito por Marcos Emanoel Pereira, aborda, numa pers- 
pectiva psicossocial, as distintas relações entre as diversas formas 
de ameaças à identidade e à redução do desempenho, notadamente 
do desempenho acadêmico e intelectual. 

Ao adotar como ponto de partida uma perspectiva metateórica 
sistematista, obriga-se a reconhecer a necessidade de considerar 
a influência de três tipos de fatores: as características individuais, 
a dimensão posicionai e a dimensão contextuai. Com base nesta 
premissa, analisa fenômenos como a influência dos esquemas 
mentais e das expectativas do professor sobre 0 estudante, as heu- 
rísticas e os vieses de julgamento, as profecias autorrealizadoras e 
a ameaça dos estereótipos. O capítulo finaliza com algumas suges- 
tões práticas e indica novas direções para 0 estudo e investigação 
desse conjunto de fenômenos. 

O décimo capítulo dá prosseguimento a essas reflexões. Intitulado 
Ameaça dos estereótipos no desempenho intelectual de estudantes universitá- 
rios cotistas, foi escrito por Joice Ferreira da Silva e Marcos Emanoel 
Pereira. O objetivo central da pesquisa relatada nesse capítulo foi 
avaliar a performance de estudantes cotistas, submetidos a uma 
tarefa que visava explicitamente mensurar 0 desempenho intelec- 
tual. A teoria da ameaça dos estereótipos prevê um decréscimo de 
performance de membros de grupos-alvo de estereótipos negativos, 
ao realizarem tarefas relacionadas com este estereótipo. 


A pesquisa, de natureza experimental, apresenta um delineamento 
3x2, com 0 primeiro fator referindo-se às condições experimentais 
(ameaça dos estereótipos; valorização de atributos positivos e grupo 
controle) e 0 segundo fator à condição de entrada do participante 
na universidade (sistema de cotas x sistema tradicional). A principal 
hipótese submetida a teste foi a de que, em condição de ameaça, 
0 desempenho dos cotistas deveria ser significativamente inferior 
aos alocados nas outras condições experimentais. O experimento 
contou com a participação de 120 estudantes de duas universidades 
públicas do Salvador que adotaram a política de cotas para alunos 
egressos de escolas públicas, em sua maioria negros. O instrumento 
utilizado consistia de 21 questões envolvendo diversos domínios da 
lógica, além de itens de escalas destinados a avaliar 0 impacto de 
possíveis mediadores do desempenho. Os resultados evidenciaram 
que os cotistas, submetidos à ameaça dos estereótipos, obtiveram 
desempenho significativamente inferior aos estudantes alocados 
nas demais condições. Na condição de valorização dos atributos 
positivos dos cotistas, não houve diferenças significativas de desem- 
penho entre cotistas e não-cotistas. Quanto aos mediadores, foram 
encontrados indícios de que apenas 0 desengajamento em relação à 
tarefa e à percepção da dificuldade do teste contribuíram de forma 
significativa para explicar a variância de desempenho dos partici- 
pantes. Estes resultados podem ser interpretados como positivos, 
pois indicam que, em determinadas condições, os efeitos negativos 
da ameaça dos estereótipos podem ser revertidos. 

Ao apresentar novas perspectivas sobre variáveis que interferem 
no desempenho dos estudantes cotistas, este trabalho nos surpre- 
ende e nos obriga a rever nosso conceito de avaliação. 

Os três capítulos seguintes retomam o tema do desempenho esco- 
lar no contexto da educação fundamental. Maria Virgínia Dazzani 
e Marcelo Faria escrevem sobre Família, escola e desempenho acadêmico. 
O capítulo apresenta um panorama geral sobre os elementos que 
concorrem e/ou concorreram para criar as condições do desempenho 
acadêmico e que, consequentemente, contribuem para a compreen- 
são do fracasso escolar, enfatizando um dos aspectos relacionados 
a esse fenômeno, a saber, a relação família-escola. 
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Abordando conceitos como “modelos hierárquicos”, “eficácia 
escolar”, “equidade educacional” e “determinantes de desempenho”, 
Rosana de Freitas Castro escreveu o décimo segundo capítulo deste 
livro com o título Fatores associados ao desempenho escolar na 4" série do 
Ensino Fundamental. Neste trabalho a autora apresenta os resultados 
de análises estatísticas efetuadas em dados provenientes da Avaliação 
de Desempenho realizada em escolas públicas da Bahia, pela Secretaria 
de Educação do Estado, em novembro de 2004. São considerados 
os desempenhos dos alunos da 4 a série do Ensino Fundamental em 
provas de Matemática e Português e as informações coletadas em 
questionários aplicados aos alunos, diretores e professores. Através 
de modelos de regressão hierárquica, são identificadas variáveis que 
influenciam 0 desempenho acadêmico dos alunos, assim como 0 
impacto destas na explicação da variabilidade. Os agrupamentos 
de alunos (escolas, municípios) foram considerados como níveis de 
uma hierarquia, assumindo-se que cada um dos níveis influencia 0 
desempenho escolar através de características próprias. Os modelos 
estimados indicaram uma clara influência de fatores concernentes 
aos alunos e às suas famílias, tais como a regularidade da trajetória 
escolar e o nível socioeconômico familiar. No que concerne à escola, 
a composição estudantil e as características dos diretores e profes- 
sores têm reflexos na eficácia e na equidade escolar. Dentre outros 
achados, verificou-se que um bom clima escolar e professores com 
horário integral na escola contribuem para melhorar os desempe- 
nhos e reduzir as desigualdades intraescolares, diminuindo os efeitos 
negativos da repetência e do abandono. 

O décimo terceiro capítulo (aqui na versão original em inglês) 
foi escrito por Claudia Schuchart e tem 0 título School effecLiveness 
in primary schools: The role of school climate and composition characteristics. 
A autora considera que muitas pesquisas sobre os efeitos da escola- 
ridade estão focadas na identificação do modo como os estudantes 
recebem informação ( input-factors ), enquanto que muitas vezes os 
elementos propriamente associados à instituição escolar ( school pro- 
cessfactors ) são ignorados. Este capítulo explora a influência do am- 
biente escolar sobre atividades de matemática em situações onde as 
características das escolas são diferentes e os fatores individuais e os 


inputs permanecem os mesmos. É analisado o impacto do ambiente 
escolar em relação ao desempenho do estudante. As questões da 
pesquisa foram formuladas a partir do estudo Desempenho do ensino 
fundamental de 2001 realizado em escolas da zona urbana da Bahia. Os 
resultados não provam a hipótese segundo a qual as características do 
ambiente escolar podem ser usadas para identificar a eficácia escolar. 
De qualquer modo, ambiente social tem grande influência sobre as 
realizações escolares e sobre 0 desempenho dos estudantes. Além 
disso, este capítulo mostra que as escolas com uma grande propor- 
ção de crianças de classes sociais pobres (underprivileged children) são 
desfavorecidas em termos de recursos humanos e materiais. 

O último capítulo dedica-se a técnicas econométricas utilizadas 
para tratar 0 viés de seleção (ou endogeneidade) que pode distorcer 
eventuais estudos sobre 0 impacto de variações de recursos escolares 
no desempenho dos estudantes. O nível de recursos disponíveis às 
atividades escolares é influenciado principalmente: 1) pela maneira 
como 0 orçamento do governo é distribuído entre as escolas do sistema; 
2) pela decisão dos gestores escolares sobre a utilização dos recursos 
que dispõem, inclusive no que concerne à enturmação e à alocação 
dos professores; 3) pela decisão dos pais a respeito de onde seus filhos 
estudarão. Como a composição das turmas quase nunca é aleatória, 
turmas menores ou maiores costumam ser resultado da interação 
desses processos decisórios e, portanto, estimativas da correlação entre 
0 tamanho das turmas e 0 desempenho dos estudantes refletirão ape- 
nas essas decisões - e não uma eventual causalidade entre 0 número 
de alunos por turma e o rendimento escolar aferido. Assim, onde 
turmas menores fossem compostas majoritariamente por estudantes 
com maiores dificuldades de aprendizado (talvez pelo fato de que 0 
entendimento preponderante tenha sido de dedicar-lhes mais recursos, 
numa tentativa de reverter a trajetória anterior), a tendência é que 0 
tamanho das classes apresente correlação negativa com 0 rendimento. 
Quando turmas menores concentrassem alunos cujo histórico é de alta 
performance nas avaliações, a correlação tenderia a ser positiva. 

Para evitar essas distorções, um tratamento estatístico possível é 0 
uso de uma variável instrumental que seja capaz de extrair 0 efeito do 
tamanho das turmas sobre 0 desempenho sem 0 viés decorrente das 
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escolhas feitas por formuladores de política, gestores escolares, pais e 
professores. Uma alternativa para isso que a literatura especializada 
costuma apontar é a observância do fenômeno imediatamente após 
a introdução de uma nova lei que imponha um limite ao tamanho 
das turmas, de forma que estas sejam reduzidas por efeito imediato 
da nova regra, e não por decisões daqueles envolvidos no cotidiano 
escolar. Tomando como ponto de partida um influente artigo que 
utiliza uma regulamentação dessa natureza no sistema educacional 
israelense (a chamada Maimonides’ rule, ou Regra de Maimônides), Paulo 
A. Meyer M. Nascimento analisa os limites da eficácia desse método 
na obtenção de um efeito mais próximo do real de um possível efeito 
do tamanho das turmas (usada como proxy para recursos escolares) 
e desempenho dos estudantes em avaliações de larga escala. 


Este é um trajeto sinuoso. Os autores seguiram deliberadamente 
caminhos diversos para tratar desse tema desafiador: eles recorrem a 
diferentes procedimentos metodológicos (da reflexão filosófico-epis- 
temológica, ao estudo de caso e à pesquisa empírica) e se remetem 
a um conjunto plural de referências documentais e bibliográficas 
- muitas vezes convergindo, outras vezes ampliando a interpretação, 
a reflexão, a crítica. Além de uma fonte (acreditamos valiosa) para 
o debate sobre o estado atual das ideias sobre avaliação, este livro 
também permite uma oportunidade para uma revisão dos principais 
conceitos, dados e obras sobre o tema da avaliação. 

Um livro coletivo é o resultado de um trabalho que envolve o 
esforço de diferentes atores, diferentes pontos de vista e, quase 
sempre, diversas instituições. Gostaríamos de agradecer ao CNPq e 
à EDUFBA pelo apoio a este projeto. Gostaríamos ainda de agrade- 
cer ao Prof. Dr. Waldomiro Silva Filho pelo auxílio na fase final do 
trabalho de edição do presente livro. 

Esperamos, por fim, que cada leitor também se torne um parceiro 
nesse esforço de compreender a educação e a escola. 

José Albertino Carvalho Lordêlo 
Maria Virgínia Dazzani 


Avaliação de políticas 
educacionais: 
contexto e conceitos em 
busca da avaliação pública 

Lanara Guimarães de Souza (UNEB) 


INTRODUÇÃO 


A temática da avaliação de políticas educacionais está presente nos 
grandes debates educacionais, trazendo à tona a questão da avalia- 
ção enquanto estratégia política para fomentar experiências eman- 
cipatórias, mediante a participação de diferentes sujeitos sociais. 
Na “febre avaliatória” que marca os anos 90, Vieira (1997) chama a 
atenção para alguns discursos “participacionistas” ingênuos sobre 
a novidade ou modernidade da relação entre avaliação e educação 
enquanto política social. 

A questão que se coloca diz respeito à existência (ou não) de um 
predominante horizonte técnico e econômico nas avaliações de 
políticas públicas de educação em desarticulação com a participação 
popular e os valores culturais historicamente e socialmente cons- 
truídos; 0 que traduziria a avaliação em mero controle contábil ao 
invés da (auto) regulação e controle social. 

O que pretendemos aqui é questionar a necessidade (ou não) do 
caráter público das avaliações realizadas sobre políticas educacionais, 
diante do aprofundamento da tecnização dos mecanismos de ava- 
liação em detrimento da participação efetiva e política da sociedade 
no processo. Neste, observamos que uma predominância tecnicista 


e despolitizada existe porque as avaliações de políticas educacionais 
não se configuram como espaços públicos. Isso só acontece quando 
os socialmente desiguais se encontram em equivalência como atores 
e sujeitos políticos e, pelo exercício conjunto e conflituoso do debate, 
deliberam sobre temas comuns. 

No âmbito do grande processo de mudança das relações entre 
o Estado e a sociedade e da reforma da administração pública, a 
avaliação vem assumindo a condição de instrumento estratégico, 
quase sempre fundamentado nos famosos “três Es”: eficiência, efi- 
cácia e efetividade. Considerando que, para ser completa a avaliação 
precisa ser realizada de forma interna e externa, é preciso saber se, 
o que vale para as instituições governamentais vale também para 
a sociedade avaliadora. 

Nessa perspectiva, o presente capítulo tem como objetivo con- 
tribuir para os estudos e debates sobre a avaliação das políticas 
sociais de educação, à luz da construção de um conceito de avaliação 
pública que tenha como categorias de fundamentação a participação 
popular e a politização. 

Para tanto, apresentamos, num primeiro momento, uma análise 
do contexto político e econômico atual, em que estas políticas se 
desenvolvem, discutindo seus principais fatores condicionantes. Em 
seguida, apresentamos uma revisão da literatura sobre a avaliação de 
políticas, explicitando os conceitos que consideramos fundamentais 
para um estudo nessa linha. Finalizamos com um pequeno ensaio 
sobre a avaliação pública, cujos valores de dialogicidade, politiza- 
ção, participação e cidadania são peças fundamentais nas políticas 
educacionais brasileiras. 


O CONTEXTO ECONÔMICO E POLÍTICO DO 
BRASIL E AS POLÍTICAS EDUCACIONAIS 

A educação configura-se, na virada do século XX e início do XXI, como 
um setor da estrutura social fundamental para promover mudanças 
nas formas de pensar a sociedade, o Estado e suas complexas rela- 
ções. Na medida em que o mundo do trabalho foi se reestruturando, 
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mundialmente, no plano ideológico, se produziram uma série de 
noções e conceitos, que tentam determinar estas novas relações e o 
papel do Estado em seu interior, como uma espécie de nova língua 
internacional, que se arvora em ser porta-voz do pensamento único. 
Podemos destacar, nesta nova língua, os termos: globalização. Estado 
mínimo, reengenharia, sociedade do conhecimento, qualidade total, 
empregabilidade, dentre outros; que em conjunto configuram a cha- 
mada ideologia neoliberal. Nesta, tem-se o entendimento equivocado 
de que as políticas sociais são escravizantes e funcionariam como 
um elemento de acomodação do indivíduo, que perderia a liberdade 
e o espírito criativo e empreendedor. (PERRY, 1996) 

Nesse contexto, aparece a avaliação das políticas como uma das 
estratégias técnicas de enfrentamento da crise fiscal e do déficit públi- 
co que limitaram 0 financiamento dos programas sociais. (OLIVEIRA; 
HADDAD, 2001) A razão técnica se transforma na razão universal, 
despolitizando as questões que colocam em jogo e exacerbando 0 
pragmatismo, por meio de uma concepção imediatista dos processos 
que atravessam tais políticas. E um conjunto de práticas, por vezes 
dissociadas, vai pouco a pouco conformando 0 novo discurso gover- 
namental sustentado no viés meritocrático que distingue a elite de 
sábios e os legitima na processualidade das políticas sociais, reiteran- 
do 0 oligarquismo característico da tradição sociopolítica brasileira. 

Os ideólogos neoliberais defendem 0 Estado mínimo, enxuto, com 
gastos reduzidos. Os direitos historicamente conquistados, como 
saúde e educação, passam a ser tratados como mercadorias, que 
devem ser adquiridas no mercado, como qualquer outra, e não 
devem ter regulação alguma, além do mercado, que é considerado 
a matriz de toda a riqueza. A intervenção da autoridade pública nas 
relações econômicas é considerada como intrusão indevida e cerce- 
adora. A proposta neoliberal para 0 Estado é marcada por uma ideia 
reguladora: a da privatização: baseada na defesa da competência, na 
eficiência da iniciativa privada e na sua superioridade em relação 
às ações públicas, coletivas. 

É na luta pela não conformação desse pensamento pretensamente 
hegemônico que as políticas educacionais vêm sendo planejadas, 
executadas e avaliadas, nas últimas décadas. O ideal democrático, 
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pautado no controle social e na autonomia, com responsabilidade 
e atuação do Estado em paralelo à participação social colegiada, 
apresenta-se como alternativa viável e desejada, principalmente nos 
discursos e na literatura sobre políticas educacionais. 

A avaliação da educação nacional, ao contrário do que se per- 
cebe à primeira vista, não está restrita ao terreno pedagógico. Ela 
reflete orientações políticas dos governos e, muitas vezes, perde 
seu caráter de diagnóstico de situações a serem aperfeiçoadas, para 
tornar-se instrumento de controle do Estado. Para Afonso (2005), 
esse quadro não se restringe ao Brasil, mas a todos os países capita- 
listas, periféricos ou centrais, convivendo, hoje, com um misto de 
socialismo e neoliberalismo em suas orientações políticas. Dá-se a 
ênfase à avaliação dos resultados (e produtos), e, consequentemente, 
desvaloriza-se a avaliação dos processos, como é o caso dos exa- 
mes nacionais que reduzem a complexidade do processo educativo 
apenas ao que é mensurável. É preciso definir se a avaliação será 
instrumento de controle ou de desenvolvimento, de promoção do 
ser humano e da escola. 

Nos países capitalistas centrais, ainda segundo Afonso (2005), 0 
período entre os anos 80 e 90 caracterizou-se pela emergência das 
políticas da chamada nova direita. De forma muito distinta de po- 
líticas anteriores, também de direita, esta nova direita foi marcada 
por uma singularidade própria: uma combinação da defesa da livre 
economia, de tradição liberal, com a defesa da autoridade do Estado, 
de tradição conservadora. Na base dessa bipolaridade, decisões não- 
intervencionistas e descentralizadoras passaram a coexistir com 
outras altamente centralizadoras e intervencionistas, revelando a 
ambiguidade inerente a essa articulação política. Nos países centrais, 
0 mercado não ressurgiu como um processo espontâneo, completa- 
mente fora do âmbito do Estado, mas como um sistema promovido 
e controlado, em grande parte, pelo próprio Estado. 

Essa combinação específica de regulação do Estado e de elemen- 
tos de mercado no domínio público, que explica os governos da 
nova direita, levou a um aumento considerável do controle sobre 
as escolas, pela introdução de currículos e exames nacionais, e, 
simultaneamente, promoveram a criação de mecanismos como a 
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publicação dos resultados escolares, abrindo espaço para a realização 
de pressões competitivas no sistema educativo. 

Nesse sentido, é preciso verificar a serviço de quem está a avalia- 
ção: a serviço da regulação, do aumento do controle do estado, do po- 
der coercitivo sobre os professores, sobre a escola, mais fiscalizador. 
Ou se é um instrumento que permite perceber onde há deficiências 
e soluções para corrigi-las. Se o objetivo é a aprendizagem do aluno, 
a melhor modalidade de avaliação é a pública e participativa. Se o 
objetivo é aumentar o controle do estado sobre o que se faz na escola, 
a avaliação externa cumpre-o bem. 


A AVALIAÇÃO DE POLÍTICAS EDUCACIONAIS: 
CONCEITOS E CRITÉRIOS PRESENTES 
NA LITERATURA ESPECIALIZADA 

Dada a reflexão anterior, devem-se ressaltar os limites implícitos no 
estudo desse tema, - cujo conteúdo é fimdamentalmente acadêmi- 
co - para limitar padrões valorativos para a avaliação de políticas. 
Tomando-se como referência, porém, as questões e os debates pre- 
sentes na literatura especializada, é possível construir um quadro de 
referência básico, a partir do qual seja possível explicitar algumas 
escolhas que orientam a análise aqui pretendida. Naturalmente, 
diante da complexidade e dinâmica do fenômeno social, os concei- 
tos aqui apresentados não são estáticos e tomados como verdades 
absolutas, mas encontram-se datados no tempo. 

De acordo com Guba e Lincoln (1989), a história dos processos de 
avaliação começa atrelada exclusivamente na medida das políticas; 
passa pelo foco nas formas de atingir os resultados; evoluindo para 
um julgamento das intervenções e, finalmente, tendendo a constituir 
um processo de negociação entre os atores envolvidos na política 
a ser avaliada. 

Um balanço da literatura especializada sobre a avaliação de po- 
líticas educacionais, no contexto das reformas anteriormente apre- 
sentadas, tem demonstrado que esta é marcadamente quantitativa e 
limitadora da crítica sobre a realidade e do controle social. Esvaziada 
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da política, a avaliação tem se fechado na autorreprodução do dis- 
curso competente (CHAUÍ, 1982); restrita a execução de manuais, 
esta avaliação não tem se prestado ao conhecimento institucional 
crítico e, portanto, a efetiva inovação das práticas. 

Por isso, se desdobram em muitas pequenas organizações que 
criam suas próprias planilhas avaliativas sem estabelecer interface 
com os marcos teóricos e políticos de justiça em termos universais 
e particulares à sociedade brasileira. (CHAUÍ, 1982) 

Utilizando-se dos termos mais comuns para definir avaliação, 
teríamos esta como um processo de análise e acompanhamento da 
implementação de políticas, subsidiando seu planejamento desde 
o diagnóstico até seus resultados, buscando orientar as tomadas de 
decisões. Sua função é garantir a regulação constante dos rumos 
a seguir em função dos objetivos e metas traçados. (RUA, 2000; 
SILVA; MELO, 2000) 

É bastante comum a ideia de a avaliação vir acompanhada do 
termo “qualitativa”. Quantidade e qualidade são partes integrantes e 
indissociáveis para se definir critérios de avaliação da qualidade, que 
por sua vez se distingue entre formal e política. A primeira ligada ao 
domínio tecnológico e a segunda voltada para a cidadania. (DEMO, 
1995) A qualidade política refere-se aos conteúdos históricos, inevi- 
tavelmente ideológicos, pautados em valores e compromissos, com 
consciência social crítica, capaz de revelar sujeitos autônomos. Em 
outro artigo, Pedro Demo (1988), tendo como referência 0 paradigma 
da comunicação de Habermas, coloca a discursividade como critério 
essencial da cientificidade, que tem a ver com a avaliação, tanto no 
que diz respeito aos procedimentos que fazem parte de sua lógica 
intrínseca, quanto no que se refere à apreciação da sua qualidade. 

Por tudo isso é difícil pensar numa avaliação de qualidade sem 
participação política efetiva. E, sem política que oriente projetos e 
anseios sociais, a tendência é o conservadorismo e a autorreferência 
na simples camada técnica; 0 que mobiliza um tipo de participação 
da sociedade que é passiva, sem controle social da administração 
pública. Situações diferenciadas de participação ativa se dão em 
conjunturas muito efêmeras e, grosso modo, as participações são 
para aceitação e para um “venham fazer comigo”. Sob esse prisma, 
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deslocam-se os conflitos do campo das políticas para o do método 
- o campo do especialista; não da fala pública, mas da fala técnica. 
O que dificulta pensar em participação sem a existência de um 
espaço público aberto às falas plurais e à negociação. O tratamento 
contextualizado da técnica, como fenômeno sociohistórico, passa 
por compreender a técnica de avaliação como expressão de uma 
totalidade social, de suas possibilidades e limites. 

A Constituição Federal no seu artigo 37, quando estabelece a lega- 
lidade, impessoalidade, moralidade, publicidade e eficiência como 
seus princípios, institui a participação do usuário na administração 
pública direta e indireta, tornando um direito as reclamações sobre 
a prestação de serviços, e o acesso a informações de atos do governo. 
No capítulo VII, específico sobre a administração pública, abriu-se 
formalmente a participação da sociedade nas políticas sociais e na 
avaliação de desempenho. 

Até mesmo do ponto de vista normativo a avaliação de políticas 
deve ser compreendida como uma atividade que é afetada por forças 
políticas e que tem efeitos políticos, sejam elas públicas, sociais ou 
governamentais . 

Em um contexto de redefinição das relações entre Estado e 
sociedade civil, reconhece-se como legítima a existência de um 
espaço ocupado por instituições situadas entre 0 mercado e o Es- 
tado, como as ONG, associações e sindicatos que fazem a mediação 
pública entre coletivos de indivíduos organizados e as instituições 
do sistema governamental. 

Chamo de público não exclusivamente 0 que é governamental, 
mas especialmente o que congrega interesses coletivos. A esfera 
pública é um espaço de interlocução de interesses heterogêneos, 
que envolve a organização da sociedade civil e a representação de 
interesses coletivos de grupos e classes diversas. São públicas as 
formas de organização e representação que os grupos sociais encon- 
tram para dar unidade às suas propostas políticas, participando do 
processo de construção de uma esfera democrática. 

A esfera pública é apontada por Habermas (1984) como ponto 
de encontro e local de disputa entre os princípios divergentes de 
organização da sociabilidade e os movimentos sociais, que se cons- 
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tituiriam nos atores que reagem a reificação e burocratização dos 
domínios de ação estruturados comunicativamente, e em defesa da 
restauração das formas de solidariedade postas em risco pela racio- 
nalização sistêmica. Os movimentos sociais são vistos por Habermas 
(1984) como fatores dinâmicos na criação e expansão dos espaços 
públicos da sociedade civil. 

Compreendemos política pública como um fenômeno social 
e histórico que expressa os interesses e necessidades de diversos 
sujeitos sociais, através do exercício do poder, e do processo de 
tomada de decisões baseado nos valores presentes na sociedade. Elas 
são estratégias voltadas para desenvolver um determinado modelo 
econômico e social em suas diversas áreas, cujas características resul- 
tam da correlação de forças dentro da própria sociedade. As políticas 
públicas compreendem 0 conjunto das decisões e ações relativas à 
alocação de valores envolvendo estratégias de agregação social. (RUA, 
2000) Estas não se confundem com política governamental, carac- 
terizada pelo conjunto de programas elaborados no espaço restrito 
das instituições governamentais, caracterizada pela interpretação 
dos gestores públicos sobre os interesses e necessidades da popula- 
ção. Políticas governamentais quase nunca surgem das demandas e 
pressões exercidas pela sociedade, e quase sempre estão associadas 
aos interesses de ordem econômica. (PALMEIRA, 1996) 

As políticas sociais caracterizam-se como um conjunto de medidas 
e programas que priorizam 0 atendimento às populações pobres, 
com o objetivo de diminuir as desigualdades sociais provocadas 
pelo mercado capitalista e sua política econômica. Segundo Marita 
Palmeira (1996), visam resolver as necessidades vitais enquanto 
direitos básicos de cidadania. Em sua vertente assistencialista, tem 
caráter mais paliativo do que corretivo. 

Nesse sentido, a política educacional enquanto vertente da políti- 
ca social é um direito básico e vital de qualquer pessoa. Seu conjunto 
de planos e programas deve ser capaz de fomentar 0 saber pensar 
como instrumento necessário à participação dos cidadãos no jogo de 
interesses e de poder, presentes nas relações sociais. Isso é possível 
se entendemos que a educação é, em linhas gerais, um processo de 
re-construção dinâmico e contínuo de saberes, experiências, partici- 
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pação política e valores que se traduzem como um ato de intervenção 
no mundo. (FREIRE, 1998) 

Participação política é um processo de educação cidadã e é nesse 
sentido que pensamos ser os conflitos e contradições os elementos 
que fomentam a participação do cidadão no cotidiano. A partici- 
pação popular nas avaliações de políticas educacionais implica na 
consideração de vários elementos constituintes do contexto histórico 
- social, como 0 caráter do público, isto é, que contenha os interes- 
ses de todos; 0 caráter democrático, como acesso às informações, 
fortalecimento das organizações de representação popular, inserção 
nas decisões e no poder, respeito ao pluralismo; 0 caráter ético, que 
estimula a transparência na administração pública, contemplando 
os valores democráticos e assegurando, assim, responsabilidades e 
regras para 0 comprometimento individual e coletivo. 

O debate sobre a avaliação da atuação do setor público tem se 
difundido bastante nos últimos anos, a partir da crise que atinge 
0 modelo de políticas redistributivas predominantes, mas também 
e talvez principalmente por conta da crise de legitimidade, que 
confronta os resultados da ação do poder público com a propalada 
eficiência do setor privado. 

Os valores da eficácia e da eficiência, transportados da iniciati- 
va privada para a gestão pública, estão marcados por esse debate, 
cabendo à avaliação de políticas um papel bastante crítico, em que 
se busca mostrar os limites da ação do poder público na provisão 
de bem-estar. Por outro lado, nos anos recentes, a emergência e 
crescente legitimidade da ideologia neoliberal recolocam os termos 
da questão, questionando a capacidade do Estado como instrumento 
eficiente para a alocação de recursos, 0 que também tem influencia- 
do as iniciativas relativas ao campo da avaliação de políticas. 


CONSTRUINDO UM CONCEITO 
DE AVALIAÇÃO PÚBLICA 

Como tudo que é humano está mergulhado em valores, e como tudo 
que é social tem necessariamente um sentido político - e este é 0 
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caso da educação - a avaliação nesta área do conhecimento deve 
ser vista como uma questão pública, não apenas técnica. Não como 
uma operação para equacionar tecnicamente as divergências, abafar 
os conflitos, homogeneizar os interesses, camuflar as desigualdades. 
Ao contrário, a qualidade da avaliação se dá pela sua contribuição 
ao debate crítico, informando-o e melhorando-o. 

A avaliação pública consiste em atribuir valor às políticas, às 
suas consequências, ao aparato institucional em que as mesmas se 
dão e aos próprios atos que pretendem modificar o conteúdo dessas 
políticas. (FIGUEIREDO; FIGUEIREDO, 1986) 

Assumir plenamente essa premissa implica em desenvolver um 
trabalho avaliativo em que não apenas se toma como objeto a capa- 
cidade das ações desenvolvidas pelo poder público atingirem seus 
objetivos, como se coloca em questão os próprios objetivos dessas 
ações e os seus mecanismos de implementação. O problema é que, 
para desenvolver essa avaliação política, é necessário estabelecer 
critérios de avaliação, baseados em alguma concepção de bem-estar 
(em relação aos resultados) e de cidadania (em relação aos processos 
de formulação e implementação). 

A avaliação pública pode ser entendida como a “[...] análise e 
elucidação do critério ou de critérios que fundamentam determi- 
nada política: as razões que a tornam preferível a qualquer outra”. 
(FIGUEIREDO; FIGUEIREDO, 1986) Razões importantes para uma 
melhor avaliação pública pressuporiam assim, em algum nível, 0 
debate público como instância de construção das normas e valores 
aproximados pelos vários setores sociais atingidos pela política. 

Deixando de lado, por enquanto, 0 problema (espinhoso) de es- 
tabelecimento de um quadro de valores a ser seguido como critério 
avaliativo, cabe ressaltar que, para que se possa desenvolver uma 
avaliação política, no sentido acima, é preciso, então, conhecer os 
objetivos que essas políticas pretendam atingir. 

Verifica-se que um dos problemas recorrentes da avaliação de 
políticas, em seu aspecto mais instrumental, refere-se à utilização de 
critérios puramente econômicos nas avaliações de eficiência. Esses 
critérios são, em geral, problemáticos e polêmicos, sendo importante 
considerar-se não apenas custos econômicos e administrativos stricto 
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sensu, mas também custos e benefícios políticos. Distingue-se, nesse 
sentido, a eficiência instrumental, 

[...] definida pela relação estrita entre custos econômicos e bene- 
fícios que são em geral tangíveis e divisíveis” e eficiência política 
“definida pela relação entre os ‘custos’ sociais e políticos e os be- 
nefícios dele decorrentes. (FIGUEIREDO; FIGUEIREDO, 1986) 

A introdução da dimensão política complexifica a avaliação e 
introduz uma “subjetividade” que pode certamente complementar 
a eficiência instrumental. 

Alguns entraves na prática avaliativa têm sido; 

a) As aplicações convencionais dos processos de monitoramento e 
avaliação têm se realizado de tal maneira que apenas os avalia- 
dores externos e assumem 0 aspecto de fiscalização, auditoria 
ou controle, cujos resultados não costumam ser utilizados no 
processo decisório e gerencial; 

b) A sensibilidade dos problemas sociais a múltiplas variáveis 
faz com que a seleção de estratégias para seu enfrentamento 
se baseie em hipóteses de relações causais. É particularmente 
difícil atribuir, através da avaliação, as mudanças observadas 
a uma intervenção específica operada sobre um problema, até 
porque, frequentemente, os efeitos de algumas intervenções 
só se evidenciam no longo prazo; 

c) A não superação da brecha entre o “quantitativo” e o “qualita- 
tivo” na definição das metas e objetivos e na própria avaliação, 
não geram complementaridade e sinergia entre eles. 

As avaliações se produzem em determinadas situações concretas, 
pautadas num quadro de valores sociais e éticos que orientam as 
nossas escolhas. As definições de avaliação são muitas, mas em quase 
todas elas, a atribuição de valor é uma característica constante e é 
por meio dela que os indivíduos são reconhecidos como sujeitos 
portadores de um papel social. 

A avaliação que se limita a medir quantidades e comparar progra- 
mas não levando em conta sua diversidade, as condições específicas, 
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sua história, seus valores, torna-se parcialmente útil para os gestores 
responsáveis pela execução de políticas educacionais. Apresenta-se 
como técnica e despolitizada, contudo desempenha um importante 
papel político de organizador da estrutura social, e de hierarquizador 
das relações, pretensamente neutro e justo. 

Quando o foco da avaliação é a mensuração dos produtos, outros 
são os valores, como a crença numa suposta neutralidade e indepen- 
dência dos produtos em relação aos processos que os produziram. 
Há também a presunção de que o domínio de alguns saberes espe- 
cializados possa substituir a complexidade das relações humanas. É 
nesse momento que a orientação tecnicista produz despolitização. 

É inegável a necessidade de indicadores, números e parâmetros 
para a avaliação em sua face classificatória, comparativa e escalona- 
dora. Mas esta é apenas uma face da avaliação que independente de 
ser ou não a face predominante, responde a algum tipo de interesse, 
pautado em determinados valores e construído politicamente. 

Uma avaliação pública está balizada prioritariamente por orienta- 
ção ético-política; implica uma avaliação que, desconstrói, descreve, 
reflete, critica e organiza-se para melhorar as políticas, ao mesmo 
tempo em que transforma as relações entre indivíduos e grupos. 
O avaliador, em seu trabalho de avaliação, termina por avaliar a si 
próprio, pois se entende parte da política como um todo. A avaliação 
pública deve ser uma construção coletiva de questionamentos, é 
pôr em movimento um conjunto articulado de estudos, reflexões, 
vivências e juízos de valor que tenham alguma força de transfor- 
mação qualitativa das políticas e de seu contexto, melhorando seus 
processos e relações sociais. 
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INTRODUÇÃO 

As transformações sociais e políticas provocadas pela globalização 
têm exigido das instituições novos modelos de gestão, frente às 
tendências atuais da educação que têm legitimado as políticas ne- 
oliberais, não apenas devido à abertura econômica, mas sobretudo 
com a finalidade de identificar métodos e programas eficazes para 
dar conta dos novos desafios no cenário mundial, a exemplo dos 
critérios que servem de padrões de mensuração de desempenho para 
as organizações. Nesse processo, a avaliação tem se aperfeiçoado ao 
longo da história como um princípio básico de regulação do Estado 
e como ferramenta de gestão da qualidade na sociedade moderna, 
seja nos setores públicos ou privados, contribuindo para a melhoria 
dos programas e influenciando as transformações e definições de 
políticas, práticas e decisões ao longo da história. 

Historicamente, a expansão da pesquisa social aplicada e a busca 
da alocação e melhoria dos serviços militares, a preocupação com 
os programas de qualificação profissional, planejamento familiar 
e desenvolvimento comunitário, vão ampliar os estudos voltados 
para a “pesquisa de avaliação”, sobretudo na década de 1950 e no 
início da década de 1960. Como disciplina, a avaliação atinge seu 
apogeu no final dos anos 60 e início dos anos 70, com estágio de 


amadurecimento nos anos 8o, quando foram observados os seguintes 
passos para tal processo: a) necessidade de especialistas qualifica- 
dos em avaliação; b) desenvolvimento de um conteúdo próprio e 
exclusivo da avaliação; c) desenvolvimento de cursos formais para 
preparar avaliadores; d) oportunidades estáveis de fazer carreira; 
e) institucionalização da função de avaliação; f) procedimentos para 
licenciar avaliadores; g) criação de entidades de classe dos avaliadores; 

h) critérios para fazer parte das entidades de classe dos avaliadores; 

i) influência de entidades de classe sobre os cursos de preparação 
do avaliador; j) definição de padrões para a prática de avaliação. 
(WORTHEN; SANDERS; FITZPATRICK, 2004) 

No campo educacional, as novas diretrizes do século XX e início 
do século XXI têm sedimentado um novo perfil de gestão, sobretudo 
nas organizações universitárias, no qual está presente um conjunto 
de características, dentre as quais, a flexibilidade, a agilidade, a 
eficiência, a eficácia, a relevância e a produtividade. A universidade 
é vista não apenas como um centro de formação de saberes e produ- 
ção de conhecimento, mas como aquela que atende aos princípios 
básicos da modernidade, seja no que se refere às relações de trabalho, 
ou à prestação de serviços à sociedade. 

No âmbito da educação superior, a avaliação tem sido estimulada, 
através de ações diretas dos governos com a criação de agências 
nacionais de avaliação para dar conta da expansão, diversificação 
desse nível de ensino. Por outro lado, tenta dar conta da importação 
de culturas gerenciais no setor público, e em particular na educa- 
ção, traduzindo mudanças nos padrões culturais e organizacionais, 
sendo contatadas ou oferecendo oportunidades de melhorias para 
as instituições de ensino, além de estimular um maior conheci- 
mento institucional e de ser um recurso para a tomada de decisão. 
(BRENNAN; SHAH, 2000) 

No Brasil, os novos paradigmas de gestão, impulsionados pela 
nova ordem mundial, têm levado, além do fenômeno da ampliação 
massiva de novas instituições superiores privadas, uma nova con- 
figuração da estrutura organizacional das instituições de ensino, 
seja nos aspectos relacionados à organização administrativa, seja 
na adequação dos currículos às necessidades empresariais, mer- 
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cadológicas e dos interesses governamentais. Esse tem sido um 
dos principais condicionantes para que o setor educacional passe 
a exigir mecanismos de avaliação institucional e tem proporcio- 
nado esforços do governo federal para implementar um Sistema 
Nacional de Avaliação. 


REFORMA DO ESTADO E SEUS IMPACTOS 
NA ORGANIZAÇÃO DO SISTEMA 
EDUCACIONAL BRASILEIRO 

O novo desenho da função do Estado, sobretudo a partir da década 
de 90, provocou novas estratégias institucionais, levando os países 
de terceiro mundo a adotarem medidas de caráter neoliberal, den- 
tre as quais a redução e 0 controle dos gastos públicos, demanda 
pela melhor qualidade dos serviços públicos, adoção de modelos de 
avaliação de desempenho, novas formas de controle do orçamento 
público e descentralização administrativa. 

Essa nova configuração passa a exigir mecanismos permanentes 
de avaliação do uso dos recursos que são liberados para financiamen- 
to de políticas públicas. Observa-se também a adoção de mecanismos 
paralelos de financiamento, com recursos sendo destinados direta- 
mente às instituições civis ou às representações das comunidades 
locais, com critérios mais abertos e flexíveis de financiamento, sem 
tanta burocracia do poder estatal. 

No caso brasileiro, 0 novo desenho da função do Estado, adotado, 
sobretudo, no governo de Fernando Henrique Cardoso, vai contri- 
buir para a implementação de um conjunto de reformas políticas 
e administrativas. A reforma gerencial proposta por Pereira (1996) 
tinha como objetivo estimular a produtividade do setor público, 
aumentar a eficiência e efetividade, melhorando a performance da 
gestão pública brasileira, assegurando o controle burocrático do 
poder estatal e inspirando-se na administração privada. 

Dentre as recomendações do novo modelo de administração pú- 
blica gerencial em face do desenvolvimento de políticas educacionais 
voltadas para 0 atendimento da ideologia neoliberal, estão: 
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í) Privatização desse nível de ensino, sobretudo em países 
como o Brasil, que não conseguiram estabelecer políticas 
de expansão de oportunidades educacionais pautadas pela 
garantia de acesso e eqüidade ao ensino fundamental, bem 
como, pela garantia de um padrão de qualidade a esse nível 
de ensino; 2) estímulo à implementação de novas formas de 
regulação e gestão das instituições estatais, que permitem 
alterações e arranjos jurídico-institucionais, visando as novas 
formas de recursos junto à iniciativa privada sob o argu- 
mento de necessária diversificação das fontes de recursos; 

3) aplicação de recursos públicos nas instituições privadas; 

4) eliminação de gastos com políticas compensatórias (mo- 
radia, alimentação); 5) diversificação do ensino superior por 
meio de incremento à expansão do número de instituições 
não universitárias; entre outras. (DOURADO, 2002, p. 241) 

Ainda no contexto das políticas neoliberais, no que se refere 
às políticas públicas, 0 Estado vai ceder à iniciativa os lugares que 
ocupava nos setores produtivos e financeiros e nas empresas em 
que detinha o controle societário, assumindo, portanto, funções 
mais relativas à justiça, aos serviços de segurança pública e, secun- 
dariamente, mantendo os serviços de educação e saúde. (ANDRADE, 
2002) Nessa perspectiva a educação é tida como um conjunto de bens 
sociais e coletivos, 0 qual compete ao Estado prover naturalmente, 
assumindo uma postura de neutralidade, capaz de agregar e integrar 
valores à sociedade. (AFONSO, 2005) 

Ao mesmo tempo em que os Estados Nacionais motivados pelas 
transformações mundiais, desencadeadas por uma série de fatores, 
entre eles a “globalização e as consequentes crises internacionais de 
eficiência e desempenho”reestruturam suas ações, gestores públicos 
estão preocupados em buscar informações para orientar e melhorar 
as suas práticas administrativas. Isso tem proporcionado não apenas 
tentativas de promover maiores índices de produtividade no setor 
público, através da flexibilização administrativa, como tem alanvan- 
cado políticas de descentralização e de autonomização, 0 que tem 
contribuído para a ascensão do tema da avaliação no setor público, 
em geral. (VERHINE, 2000, p. 7) 
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0 lugar cedido à iniciativa privada trouxe uma nova estrutura e 
organização, sobretudo no ensino superior. Um novo cenário pode 
ser observado nas últimas décadas, não apenas com o crescimento 
de instituições privadas em todo país 1 , favorecido por uma maior 
flexibilidade da Lei de Diretrizes e Bases da Educação Nacional (LDB) 
- Lei n° 9.394/96, mas também com uma nova configuração de ensino, 
que passou a constituir os espaços de formação, com vistas a atender 
0 mundo globalizado e em constante transformação, requerendo, 
portanto, a constituição de um perfil eficiente e capaz de dar conta 
das demandas do mercado. 

A aprovação da nova LDB e do Plano Nacional de Educação (PNE) 
(Lei n° 10.172/2001), portanto, vai apresentar uma estreita relação 
com as recomendações do Banco Mundial, sobretudo em relação às 
ações que se configuram em torno da educação superior. Essas ações 
abrem possibilidades para uma maior descentralização e autonomias 
às instituições de ensino e reiteram, no caso do ensino universitário, 
0 rompimento com 0 princípio da indissociabilidade entre ensino, 
pesquisa e extensão. Valorizando 0 caráter instrumentalista, a nova 
lei contribuirá para a expansão de instituições que oferecem apenas 
0 ensino, flexibilizando e reduzindo as exigências para credencia- 
mento de novas Instituições de Educação Superior (IES), deixando 
apenas três critérios para quem quisesse se tornar universidade: “[...] 
produção intelectual institucionalizada, um terço do corpo docente, 
pelos menos com título de mestre ou doutor e um terço do corpo 
docente em regime de tempo integral.” (Art. 52) 

Por sua vez, 0 PNE (DOURADO, 2002, p. 243-244), recomendado 
pelas disposições transitórias (art 87 da LDB), apresenta os seguintes 
indicativos para a educação superior: 


1 Segundo dados do 
Instituto de Pesquisas 
Educacionais Anísio 
Teixeira (BRASIL, 2006), 
no final da década de 90, 
havia 1.391 Instituições 
de Ensino Superior no 
Brasil, sendo 193 públicas 
(13,2%) e 1.208 privadas 
(86,8%). De acordo com 
os dados do Censo de 
educação superior (INEP, 
2007), esse número passa 
a corresponder 2.281 
IES, sendo 249 públicas 
(10,92%) e 2.032 privadas 
(89,08%). Na análise por 
organização acadêmica, 
as Faculdades Isoladas, 
Escolas e Institutos 
representam o maior 
número (1648 e 72,25%). 
Destaca-se, também, o 
grande crescimento dos 
Centros de Educação 
Tecnológica e Faculdades 
de Tecnologia, que de 
34, no final da década de 
90, passa a corresponder 
204 unidades de ensino, 
com maior concentração 
no setor privado (138 
unidades e 67,65%). 


[...] diversificação do sistema por meio de políticas de ex- 
pansão da educação superior, a não-ampliação dos recursos 
vinculados ao governo federal para esse nível de ensino, afe- 
rição da qualidade de ensino mediante sistema de avaliação, 
ampliação do crédito educativo envolvendo recursos estadu- 
ais, ênfase no papel da educação à distância. 
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0 sistema de avaliação, portanto, amplia o controle do Estado e 
provoca mudanças na organização e gestão das instituições de ensino, 
estimulando a expansão competitiva no ensino superior, uma vez 
que os Decretos n° 2.306/97 e n° 3.860/2001 (revogado pelo Decreto 
11 o 5.773/2006), flexibilizaram a sua estruturação. Na prática, isso repre- 
senta “estímulo à expansão de matrículas e diversificação institucional, 
naturalizam esse campo como serviço e, na maioria dos casos, restrin- 
gem a educação superior à função de ensino”, cuja missão institucional 
deve se adequar à lógica do mercado. (DOURADO, 2002, p. 247) 

Esses fatores favoreceram a expansão do ensino superior privado, 
uma vez que tendem a responder mais rapidamente à demanda da 
qualificação profissional e, por outro lado, contribuir para 0 acesso 
a certos setores do mercado de trabalho, pela facilidade de oferecer 
um diploma de nível superior. Além disso, exige do Estado uma nova 
postura de gestão educacional, subsidiada por um novo sistema de 
avaliação, que entrará em cena a partir de 2004, com a instituição 
da Lei n° 10.861, estabelecendo os critérios para a Avaliação Institu- 
cional, com a perspectiva de que esta se torne um instrumento de 
gestão e emancipação universitária, envolvendo todos os agentes, 
dimensões e instâncias das IES do país. 


A TRAJETÓRIA DA AVALIAÇÃO DA EDUCAÇÃO 
SUPERIOR NO brasil: TENDÊNCIAS, 
ORGANIZAÇÃO E AVANÇOS 

A avaliação tem se constituído em um elemento central nas políticas 
de educação no Brasil. Desde os anos 80, 0 debate sobre a impor- 
tância dessa temática e dos procedimentos necessários para a sua 
implementação tem sido destaque nos ambientes acadêmicos e 
organizacionais das universidades. Ao discutir a trajetória da avalia- 
ção, portanto, não podemos deixar de considerar a complexidade do 
sistema de educação no nível superior e dos procedimentos formais 
e legais que envolvem a avaliação. 

No contexto legal e institucional, a avaliação é tida como preceito 
constitucional na busca pela qualidade da educação. O artigo 206, 
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Inciso VII, defende que, dentre os princípios e normas fundamentais 
da educação no Brasil, está a “garantia de padrão de qualidade”. Em 
seu art. 208, assegura que a educação é “dever do Estado” e em seu 
art. 209, que “o ensino é livre à iniciativa privada”, desde que atenda 
às seguintes condições: a) 0 “cumprimento das normas gerais da 
educação nacional”; b) a “autorização e avaliação de qualidade pelo poder 
público, incluindo entre as cinco metas a serem alcançadas, a melhoria 
da qualidade do ensino.” (BRASIL, 1988, art. 214, grifo nosso) 

A LDB, por sua vez, aponta que a avaliação é um um pilar essen- 
cial da educação. Para tanto, deve-se buscar implementar processos, 
visando à melhoria do ensino, com vistas à qualidade, sob a res- 
ponsabildiade da União assegurar processo nacional de avaliação 
de instituições em todo território nacional, com vistas à qualidade 
(Art. 9, Inciso VI). (ANDRADE, 2009) 

A Lei n° 10.172, de 9 de janeiro de 2001, que aprovou 0 PNE, em 
seu art. 9 0 também estabeleceu que à União caberia implementar 
um Sistema Nacional de Avaliação, 0 qual deveria definir parâmetros 
de qualidade para 0 acompanhamento dos sistemas de ensino, in- 
clusive o privado, além das metas do próprio PNE, estabelecendo-se, 
também, como um preceito legal para a avaliação. 

Ao analisar, portanto, 0 contexto histórico, no qual se constituiu 
a avaliação da educação superior, não podemos deixar de considerar 
os diversos sistemas de regulamentação legais e estatais que têm 
condicionado os diferentes sistemas, modelos ou formas de avaliação, 
com diferentes concepções históricas, filosóficas, antropológicas e 
pedagógicas, cuja compreensão exige uma relação com as determi- 
nadas conjunturas políticas, sociais e econômicas. (AFONSO, 2005) 
Historicamente, 0 Brasil viveu vários momentos que podemos 
retomar como marcos referenciais da avaliação da educação su- 
perior. Até 0 final da década de 50, sua concepção era vista como 
fiscalização e controle. Esse perfil mudou a partir dos anos 60, com 
0 maior engajamento e participação da comunidade acadêmica no 
destino da universidade, alavancado pelo movimento pela reforma 
universitária, cujo objetivo era estabelecer um compromisso técnico- 
científico com 0 desenvolvimento da sociedade brasileira, que vai 
desencadear a expansão do movimento docente, nos anos 70, pela 
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qualidade das atividades acadêmicas, no âmbito do ensino e da 
pesquisa, sobretudo nas universidades públicas. (MARBACK NETO, 
2007; POLIDORI, 2004) 

O termo avaliação, propriamente dito, surgiu no Brasil em 1983 
com 0 Programa de Avaliação da Reforma Universitária (PARU). Este 
se constituiu como a primeira pesquisa sobre gestão das universi- 
dades brasileiras. Sua atenção se voltava, sobretudo, para a gestão, 
produção/disseminação de conhecimentos a partir de dados insti- 
tucionais, permitindo que a comunidade universitária e os demais 
setores sociais expressem suas opiniões sobre a universidade. Apesar 
de se tratar de uma proposta inovadora, sua duração foi de apenas 
três anos. e não chegou a se estabelecer como um sistema nacional 
de avaliação. (MARBACK NETO, 2007) 

Ainda na década de 80, vão surgir novas tentativas de se im- 
plementar uma política de avaliação no Brasil. Alguns exemplos 
podem ser citados como a 54 a . Reunião Plenária do Conselho de 
Reitores das Universidades Brasileiras, em Aracaju (SE), que aprovou 
um documento para a implantação permanente da avaliação nas 
universidades; a criação da Comissão de Avaliação na Universidade 
de Brasília, sob a coordenação da Prof 1 . Isaura Belloni; a experiência 
da Universidade de São Paulo (USP) e da Universidade da Região 
de Joinville (UNIVILLE) no desenvolvimento de seus processos de 
avaliação. (MARBACK NETO, 2007) 

No ano de 1985, foi criada no MEC a Comissão Nacional de Re- 
formulação da Educação Superior, cujo trabalho resultou na apre- 
sentação de um relatório intitulado Uma nova política para a educação 
superior brasileira, (BRASIL, 1985), estimulando a oferta, pelo Conselho 
Federal de Educação, de mecanismos de avaliação permanente do 
sistema educacional brasileiro, com 0 apoio de comissões de espe- 
cialistas externos. Também chamava a atenção para a ausência de 
parâmetros avaliativos, o que afetava a organização da educação 
superior, a política de alocação de recursos que poderiam fortalecer 
as melhores intituições do país. 

Fruto desse relatório, foi constituído 0 Grupo Executivo para a 
Reforma da Educação Superior (GERES), cuja filosofia pautava-se na 
regulação e via a avaliação como contraponto à autonomia da IES, 
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valorizando as dimensões individuais (aluno, cursos, instituições, 
etc). Os resultados da avaliação estavam, portanto, baseados no 
controle da qualidade para a distribuição de recursos públicos, que 
deveriam ser destinados para centros de excelência, com padrões 
internacionais de produção acadêmica. Mesmo não conseguindo fa- 
zer a reforma universitária, tanto o Relatório quanto o GERES foram 
importantes para que a avaliação se tornasse ponto estratégico das 
reformas do governo de Fernando Henrique Cardoso, desencadeando, 
futuramente, na publicação da Lei n° 9.131/95, cabendo ao Estado 
“Art. 6 o [...] formular e avaliar a política nacional áe educação, zelar pela 
qualidade do ensino e velar pelo cumprimento das leis que 0 regem” 
(BRASIL, 1995, grifo nosso), mesmo que as políticas sugeridas não se 
estabelecessem dentro dos parâmetros desejados pela comunidade 
acadêmica: uma avaliação que pudesse aspirar aos princípios da de- 
mocracia, emancipação e fortalecimento da autonomia democrática 
ou, conforme assinalam Dias Sobrinho e Ristoff (2003, p. 27), uma 
avaliação institucional como “[...] um empreendimento sistemático 
que busca a compreensão global da universidade, pelo reconheci- 
mento e pela integração de suas diversas dimensões”. 

Nos anos 90, uma nova experiência de implementação de um 
modelo nacional de avaliação da educação superior surge no cenário 
brasileiro. Trata-se do Programa Nacional de Avaliação Institucional 
das Universidades Brasileiras (PAIUB). Criado pelo MEC em 1994, 
caracteriza-se como uma resposta ao movimento das universidades 
brasileiras, com vista a implantar um modelo de avaliação centrado 
na graduação. (POLIDORI, 2004) 

Elaborado segundo os princípios da globalidade, comparabilida- 
de, respeito à identidade institucional, não premiação ou punição, 
adesão voluntária, legitimidade e continuidade, buscava, sobretudo, 
com a participação de vários segmentos representativos da educação 
superior, a exemplo da Associação Nacional dos Dirigentes das Ins- 
tituições de Ensino Superior (ANDIFES), oferecer subsídios para um 
processo contínuo de aperfeiçoamento do desempenho acadêmico; 
uma ferramenta para 0 planejamento da gestão universitária, além 
da prestação de contas à sociedade, garantindo 0 caráter transpa- 
rente da avaliação. 
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Caracteriza-se por possuir dotação financeira própria, livre 
adesão das universidades através da concorrência de proje- 
tos e princípios de avaliação coerentes, composição livre e 
participativa. Este programa procura considerar ‘os diversos 
aspectos indissociáveis das múltiplas atividades-fim e das 
atividades-meio necessárias à sua realização, isto é, cada uma 
das dimensões-ensino, produção acadêmica, extensão e ges- 
tão em suas interações, interfaces e interdisciplinaridade. 
(PAIUB, 1994 apud LOPES, 2002, p. 2) 

Por se tratar de uma adesão livre, as universidades brasileiras da 
região Sudeste foram as que mais adotaram 0 modelo como experi- 
ência avaliativa, seguidas do sul, nordeste, centro oeste e norte, res- 
pectivamente. (BRASIL. Ministério da Educação e do Desporto, 1997) 
Com a sua implementação passaram a receber recursos financeiros 
para a execução de seus projetos de avaliação institucional, com me- 
todologias próprias, mas com princípios comuns. Com relação a esse 
aspecto, pode-se afirmar que 0 programa passou a representar para 
essas universidades alguma experiência de avaliação institucional, 
mesmo que a literatura não forneça elementos consistentes sobre 
as práticas avaliativas, tidas como “dispersas, incompletas e até 
contraditórias”, dificultanto as dimensões operacionais da avaliação 
institucional. (VERHINE, 2000, p. 9) 

A partir de 1996, ocorrem mudanças no modelo de avaliação da 
educação superior no Brasil. Fruto da Lei n° 9.131, de 24 de novembro de 
1995, serão tomadas uma série de prerrogativas no âmbito do Ministé- 
rio da Educação e do Desporto, atendendo às seguintes orientações: 

Art. 3 o . Com vistas ao dispositivo na letra “e” do §2° do artigo 9 0 
da Lei n. 4.024, de 1961, com a redação dada pela presente Lei, 
o Ministério da Educação e do Desporto fará realizar avalia- 
ções periódicas das instituições e dos cursos de nível superior, 
fazendo uso de procedimentos e critérios abrangentes dos 
diversos fatores que determinam a qualidade e a eficiência das 
atividades de ensino, pesquisa e extensão. (BRASIL, 1995) 

Como ação imediata para atender as prerrogativas da Lei 
n° 9.131/95, alguns exemplos podem ser citados: Decreto n° 2.096/96 
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( instituiu os procedimentos para o processo de avaliação dos cur- 
sos e instituições de ensino superior); Portaria n° 249/96 (institui a 
sistemática para a realização do Exame Nacional de Cursos - ENC). 
Nessa nova organização da avaliação, 0 PAIUB passou a responder 
de forma individual pela avaliação das universidades brasileiras , 
não se firmando como sistema de avaliação, sendo desativado du- 
rante os anos de 1998 e 1999. As universidades tiveram, a partir daí, 
que desenvolver metodologias próprias de avaliação institucional, 
mesmo porque os incentivos financeiros para 0 desenvolvimento de 
tal atividade foram extintos nesse período. Além disso, 0 Decreto 
n° 3.860, publicado em 2001, instituiu os procedimentos de avalia- 
ção das instituições de ensino superior e de seus cursos através da 
verificação de uma série de itens por Comissões de Especialistas, 
designados pelo Ministério da Educação. 

Vale destacar que, enquanto no PAIUB, a avaliação tinha uma 
perspectiva de totalidade e de prestação de conta à sociedade, o 
ENC estava centrado nos resultados, produtividade, eficiência, con- 
trole e desempenho dos estudantes. Destacam-se algumas críticas 
ao modelo 


[...] o ENC reduz a avaliação das universidades a uma única 
prova geral, produzindo como resultado um retrocesso nas 
concepções e formas de ensinar e desenvolver o conhecimen- 
to. O exame, ao centrar-se nas diretrizes curriculares comuns, 
desconsidera as características regionais, as condições pecu- 
liares de trabalho de cada instituição, a escolha autônoma 
e legítima das instituições por determinada abordagem nos 
cursos, a missão e os objetivos educacionais priorizados por 
cada instituição, dentro do espírito de relativa autonomia 
didático/pedagógica e de pluralidade de concepções. (SANTOS 
FILHO, 1999 apud LOPES, 2002, p. 3) 

Com relação à avaliação dos cursos de graduação, a partir de 
I o de outubro de 2001, 0 Instituto Nacional de Estudos e Pesquisas 
(INEP) assumiu a coordenação da Avaliação das Condições de Ensi- 
no (ACE), reestruturando as visitas in loco e ampliando 0 banco de 
avaliadores em todas as áreas do conhecimento. No ano de 2002, é 
publicada a Portaria n° 990, de 2 de abril de 2002, “[...] estabelecendo 


A AVALIAÇAO DA EDUCAÇAO SUPERIOR NO BRASIL: DESAFIOS E PERSPECTIVAS 41 


as diretrizes para a organização e execução da avaliação das institui- 
ções de educação superior e das condições de ensino dos cursos de 
graduação”, e orientando que a avaliação in loco, tendo como roteiro 
um instrumento específico para cada curso, deveria ser procedida 
considerando os seguintes critérios, presentes no art. 2°: 

Art. 2.° Para proceder à avaliação das IES e das condições de 
ensino dos cursos de graduação, serão utilizados instrumen- 
tos organizados pelo INEP que possibilitem avaliar: 

I - organização institucional ou organização didático-peda- 
gógica dos cursos; 

II - corpo docente, considerando principalmente a titulação, 
a experiência profissional, a estrutura da carreira, a jornada 
de trabalho e as condições de trabalho; 

III - adequação das instalações físicas gerais e específicas, 
tais como laboratórios e outros ambientes e equipamentos 
integrados ao desenvolvimento do curso; e 

IV - bibliotecas, com atenção especial para o acervo especializa- 
do, inclusive o eletrônico, para as condições de acesso às redes 
de comunicação e para os sistemas de informação, regime de 
funcionamento e modernização dos meios de atendimento. 


2 Na literatura, 
Stakeholder ou, em 
português, “parte 
interessada” ou 
“interveniente”, refere-se 
a todos os envolvidos em 
um processo, por exemplo, 
clientes, colaboradores, 
investidores, 
fornecedores, 
comunidade etc. O termo 
stakeholders foi criado 
para designar todas as 
pessoas, instituições 
ou empresas que, de 
alguma maneira, são 
influenciadas pelas ações 
de uma organização. 


Diante dos fatos, pode-se dizer que até o ano de 2003, a avaliação 
da educação superior pública e privada se compunha do trio AI-ACE- 
ENC, que da forma como foi orientada acabou trazendo problemas 
na sua operacionalização, sobretudo aos relacionados ao objetivo 
de avaliar a qualidade da educação brasileira. 

Com referência à Avaliação Institucional (AI), suas atividades 
ficaram restritas ao parecer dos especialistas com relação ao (re) 
credenciamento das IES, cujo reordenamento deu-se pelo Decre- 
to n° 2.026/1996 e, posteriormente, pelo Decreto n° 3.860/2001. 
A Avaliação das Condições de Ensino (ACE), por sua vez, também 
apresentou problemas de operacionalização, devido aos procedi- 
mentos metodológicos adotados na identificação dos pontos fracos 
e fortes dos cursos de graduação, dos possíveis conflitos entre os 
stakeholders 2 , das pressões políticas e como os stakeholders interferem 
ou colaboram com as atividades da instituição. O ENC também não 
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foi capaz de indicar o valor ou o mérito, ou seja, a qualidade de um 
curso de graduação; restringiu-se a avaliar os alunos como se todos 
tivessem as mesmas condições, mesmas realidades e mesmos con- 
textos de ensino-aprendizagem. A avaliação empregada, portanto, 
na concepção do antigo “Provão”, que 

(i) dava ênfase aos resultados, atribuindo mérito individual 
às instituições; (ii) provia dados de desempenho predomi- 
nantemente quantitativos e escalonados, que resultavam 
em medida relativa e ranking; (iii) caracterizava-se como 
uma avaliação de desempenho externa não devidamente 
articulada à auto-avaliação das instituições e cursos e aos 
demais processos avaliadores integrantes do sistema. (DAVOK, 
2007, p. 79-80) 


Em síntese, os três processos vigentes até 2003 dedicavam-se em 
descrever e quantificar as variáveis, com base no controle e fiscali- 
zação, além do caráter punitivo frente aos conceitos insuficientes, 
sobretudo na avaliação dos cursos, que podiam ter seu reconhe- 
cimento suspenso quando obtinham resultados insuficientes na 
dimensão corpo docente da ACE e três conceitos D ou E consecutivos 
no ENC. (DAVOK, 2007) 

Tentando superar as dificuldades e falhas do sistema de avalia- 
ção até então vigente, ainda no ano de 2003, é encaminhado ao 
Ministério da Educação 0 documento Sistema Nacional de Avaliação da 
Educação Superior - SINAES: Bases para uma nova proposta de Avaliação da 
Educação Superior, que defendia a criação de um sistema que combi- 
nasse regulação com um sistema educativo, de responsabilidade do 
Estado e das instituições, além da prestação de contas à sociedade. 
Essa proposta visava, sobretudo, à superação da avaliação centrada, 
exclusivamente, na supervisão do MEC e não se constituindo, dessa 
forma, em um sistema de avaliação. 

Como resultado dessas discussões, em abril de 2004, é instituída 
a Lei n° 10.861, garantindo a consolidação do Sistema Nacional de 
Avaliação da Educação Superior (SINAES), que, através da instituição, 
seus cursos e do desempenho de seus estudantes, busca assegurar: 
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Alt. 2 o - 1 - avaliação institucional, interna e externa, contem- 
plando a análise global e integrada das dimensões, estruturas, 
relações, compromisso social, atividades, finalidades e res- 
ponsabilidades sociais das instituições de educação superior 
e de seus cursos; 

II - o caráter público de todos os procedimentos, dados e 
resultados dos processos avaliativos; 

III - o respeito à identidade e à diversidade de instituições e 
de cursos; 

IV - a participação do corpo discente, docente e técnico- 
administrativo das instituições de educação superior, e da 
sociedade civil, por meio de suas representações. 

Dessa forma, o SINAES se apresenta como um sistema integrado, 
competindo-lhe a articulação entre os procedimentos avaliativos 
constituídos pela Avaliação Institucional (AI), Avaliação dos Cursos 
de Graduação (ACG) e o Exame Nacional do Desempenho dos Estu- 
dantes (ENADE). Como parte desse processo, em 9 de julho de 2004, 0 
Ministério da Educação regulamenta os procedimentos de avaliação 
do Sistema Nacional de Avaliação da Educação, através da Portaria 
n° 2.051, expondo, entre outras, as seguintes recomendações; 

Art. 40. A avaliação de instituições, de cursos e de desem- 
penho de estudantes será executada conforme diretrizes 
estabelecidas pela CONAES. 

Parágrafo único. A realização da avaliação das instituições, 
dos cursos e do desempenho dos estudantes será responsa- 
bilidade do INEP, o qual instituirá Comissão Assessora de 
Avaliação Institucional e Comissões Assessoras de Áreas para 
as diferentes áreas do conhecimento. 

Art. 50 Para as avaliações externas in loco, serão designadas 
pelo INEP: 

I - Comissões Externas de Avaliação Institucional; 

II - Comissões Externas de Avaliação de Cursos. 

No âmbito da Avaliação das Instituições (AI), a avaliação será 
conduzida com base na identificação do perfil institucional e pau- 
tando-se nos princípios “do respeito à identidade e à diversidade 
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das instituições, bem como pela realização de auto-avaliação e de 
avaliação externa”. (Art. 9 0 ). 

A autoavaliação constitui uma ferramenta do processo avaliati- 
vo, coordenado, internamente por Comissão Própria de Avaliação 
(CPA). (Art.10). O SINAES considera que a autoavaliação conduzida 
pela CPA é um importante mecanismo de autorregulação, onde as 
Instituições conhecem a sua própria realidade e poderão utilizar 
mecanismos de controle interno, visando à qualidade e pertinência 
dos objetivos e metas institucionais. Para isso, a CPA deve assegurar 
a participação de todos os segmentos da IES, bem como prestar 
todas as informações solicitadas pelo INEP, além de servir como 
instrumento de gestão universitária. 

A avaliação dos cursos de graduação será realizada por Comissões 
Externas de Avaliação de Cursos, designadas pelo INEP, entre os especia- 
listas das mais diferentes áreas do conhecimento (Art. 18), devendo con- 
siderar por ocasião do ato avaliativo, dentre outros aspectos (Art.20): 

I - o perfil do corpo docente; 

II - as condições das instalações físicas; 

III - a organização didático-pedagógica; 

IV - o desempenho dos estudantes da IES no ENADE; 

V - os dados do questionário socioeconômico preenchido pelos 
estudantes, disponíveis no momento da avaliação; 

VI - os dados atualizados do Censo da Educação Superior e do 
Cadastro Geral das Instituições e Cursos; e 

VII - outros considerados pertinentes pela CONAES. 

A avaliação do desempenho dos estudantes, realizada pelo INEP 
sob a orientação da CONAES, mediante aplicação do ENADE, de forma 
periódica e com utilização de procedimentos amostrais entre os alunos 
iniciantes e do último ano dos cursos de graduação, tem por objetivo; 

[...] acompanhar o processo de aprendizagem e o desempe- 
nho dos estudantes em relação aos conteúdos programáticos 
previstos nas diretrizes curriculares do respectivo curso de 
graduação, suas habilidades para ajustamento às exigências 
decorrentes da evolução do conhecimento e suas competên- 
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cias para compreender temas ligados à realidade brasileira e 
mundial e a outras áreas do conhecimento. (Art. 23) 

Avaliando apenas uma amostragem dentre todos os alunos inician- 
tes e concluintes, inscritos pela instituição e escolhidos por sorteio 
pelo próprio Ministério da Educação, 0 ENADE busca superar a con- 
cepção conteudista da avaliação do antigo PROVÃO, ou seja, restritiva 
aos conhecimentos adquiridos ao longo do curso, buscando, também, 
valorizar um conjunto de habilidades e competências adquiridas ao 
longo do processo de formação dos cursos de graduação, questões 
baseadas em problemas, além da avaliação dos conhecimentos gerais, 
sobretudo acerca da realidade brasileira e mundial. 

Ainda como procedimento do SINAES, no âmbito da Avaliação 
Institucional para recredenciamento das IES em todo país, regidas 
pelo sistema federal de ensino, em 30 de janeiro de 2006 é aprovado, 
através da Portaria n° 300, 0 Instrumento de Avaliação Externa, visando 
subsidiar 0 trabalho das Comissões de Avaliação designadas pelo INEP, 
sob a orientação a CONAES. Essa Portaria é revogada em 17 de outubro 
de 2008 pela Portaria n° 1.264, que aprova um novo instrumento, que 
passará a orientar a avaliação das Instituições de Ensino Superior, 
pautando-se em dez dimensões e seus respectivos pesos (Quadro 1): 


DIMENSÃO 

PESO 

Dimensão 1: Missão e Plano de Desenvolvimento Institucional 

05 

Dimensão 2: Perspectiva científica e pedagógica formadora: políticas, normas e estímulos para 
0 ensino, a pesquisa e a extensão 

35 

Dimensão 3: Responsabilidade social da IES 

05 

Dimensão 4: Comunicação com a sociedade 

05 

Dimensão 5: Políticas de pessoal, de carreira, de aperfeiçoamento, de condições de trabalho. 

20 

Dimensão 6: Organização e Gestão da Instituição 

05 

Dimensão 7: Infraestrutura física e recursos de apoio 

10 

Dimensão 8: Planejamento e avaliação 

05 

Dimensão 9: Políticas de atendimento aos estudantes 

05 

Dimensão 10: Sustentabilidade financeira 

05 

TOTAL 

100 


Quadro 1: Atribuição de Pesos às Dimensões do SINAES 
Fonte: INEP (2006) 
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Essa Portaria introduz uma orientação específica para a avaliação 
das universidades, devendo prever no Intrumento: 

Art. i° [...] pontuação específica pela existência de programas 
de pós-graduação stricto sensu, considerando satisfatório o 
funcionamento de pelo menos um programa de doutorado 
e três programas de mestrado, todos reconhecidos e com 
avaliação positiva pelas instâncias competentes. 


Ainda como parte das ações do SINAES, a Portaria n° 563, de 21 de 
fevereiro de 2006, aprova 0 instrumento para a avaliação de todos 
os cursos de graduação, compreendendo os cursos de bacharelado, a 
licenciatura e os cursos superiores de tecnologia, na modalidade pre- 
sencial ou a distância. Composto por categorias, indicadores e grupo 
de indicadores, 0 instrumento subsidiou 0 trabalho das comissões de 
avaliação designados pelo INEP, durante dois anos, sendo substituído 
por uma nova versão, publicada através da Portaria n° 1.081, de 29 
de agosto de 2008, contemplando as seguintes dimensões: 


DIMENSÃO 

PESO 

1 - Organização didático-pedagógica 

40 

2 - Corpo Docente, Discente e Técnico-administrativo 

35 

3 - Instalações físicas 

25 

TOTAL 

100 


Quadro 2: Atribuição de Pesos às Dimensões do SINAES 
Fonte: INEP (2008) 


Esses elementos passaram a contituir a avaliação da educação su- 
perior no Brasil e, apresentam uma variedade de instrumentos, com 
diferentes concepções e objetivos que têm constituído a trajetória 
histórica da avaliação nesse nível de ensino. Ao analisar a estrutura 
formal do tão esperado Sistema Nacional de Avaliação, buscamos 
avaliar o verdadeiro sentido de sua contituição: se por um lado a ava- 
liação tem sido substanciada pelo caráter formativo, comprometida 
com a transformação acadêmica e emancipatória e, se por outro, a 
avaliação está sendo mais vinculada ao controle e à regulação, mais 
centrada na política de resultados e do valor de mercado. 
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As duas concepções parecem dar conta dos aspectos estruturantes, 
seja em relação à própria expectativa do Estado, na necessidade de 
se estabelecer políticas de regulação e controle, seja em relação à 
perspectiva de fortalecimento da dimensão filosófica enquanto pos- 
sibilidade de “[...] conhecimento, interpretação, atribuição de juízos 
de valor, organização e instaurações de ações e metas para melhorar 
o cumprimento das finalidades públicas e sociais das instituições”. 
(DIAS SOBRINHO; RISTOFF, 2003, p. 43) Enquanto controle e regula- 
ção, ela se restringe exclusivamente à fiscalização do cumprimento 
ou não das normas legais e ao ajuste das demandas do mercado para 
melhoria da produtividade. A avaliação, nesse sentido, estaria mais 
preocupada com os rankings das instituições, como resposta à socie- 
dade naquilo que se entende como política de resultados. Em relação 
à sua dimensão formativa, assume sua responsabilidade educativa, 
na compreensão das dimensões essenciais para se buscar cumprir os 
critérios de uma prática democrática e participativa para a melhoria 
dos processos, seja em relação aos aspectos pedagógicos, curricula- 
res, seja em relação aos aspecots administrativos ou a qualificação 
e envolvimento dos seus recursos humanos. Nessa perspectiva, os 
elementos que compõem 0 SINAES carecem de análise e reflexão, 
seja em relação a sua concepção, seja em relação a sua estrutura e 
organização dos instrumentos de avaliação. 


CONCLUSÃO 

As transformações sociais e políticas provocadas pela globalização 
têm redimensionado 0 papel da educação e as novas formas de gestão 
e organização do sistemas educativos, frente às políticas neoliberais 
e 0 fim das fronteiras econômicas. Dentre os aspectos necessários 
para responder a essas mudanças, está a avaliação. 

Como sistema, a avaliação tem se aperfeiçoado ao longo da história 
como um princípio básico de regulação do Estado e como ferramenta 
de gestão da qualidade na sociedade moderna, seja nos setores pú- 
blicos ou privados. A forma como está sendo contituída, bem como 
os aspectos formais e operacionais, garantem 0 seu compromisso 
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público e político, além da credibilidade dos autores envolvidos 
no processo avaliativo, tanto no âmbito interno quanto no âmbito 
externo das organizações. Quando bem planejada, a avaliação tem 
contribuído para a melhoria dos programas, influenciando nas trans- 
formações e definições de políticas, além de servir como instrumento 
de tomada de decisão de políticas públicas e sociais. 

No caso brasileiro, as reformas políticas, econômicas e sociais, 
impulsionadas pelo modelo neoliberal de gestão, sobretudo nos 
anos 90, fortaleceram 0 Estado regulador, com vista a garantir não 
apenas níveis de eficiência e produtividade dos serviços públicos, 
mas uma nova estrutura de organização e gestão, flexibilizando e 
repassando para a iniciativa privada funções que seriam exclusivas 
do poder estatal. 

No campo educacional, 0 lugar cedido à iniciativa privada trouxe 
uma nova estrutura e organização, sobretudo no ensino superior. Um 
novo cenário pode ser observado nas últimas décadas, não apenas 
com 0 crescimento de instituições privadas em todo país, favorecido 
por uma maior flexibilidade da LDB, mas também com uma nova 
configuração de ensino, que passou a constituir os espaços de for- 
mação, tendo em mira atender o mundo globalizado e em constante 
transformação, requerendo, portanto, a constituição de um perfil 
eficiente e capaz de dar conta das demandas do mercado. 

Dentre as demandas de mercado, está a nova configuração da 
universidade que passa constituir espaços de produtividade, man- 
tendo características como eficiência e eficácia, atingindo patamares 
de competitividade através de padrões de mensuração de resulta- 
dos, com vista à qualidade. Neste campo que caracteriza a própria 
modernização universitária, está a preocupação com a produção 
de conhecimento voltada para a formação do capital humano para 
atender 0 fenômeno da globalização e responder aos próprios an- 
seios da sociedade, que veem na educação a condição essencial para 
0 ingresso no mercado de trabalho. 

Neste cenário de mudanças, a avaliação vai se constituir no ele- 
mento formal de regulação estatal, ao mesmo tempo que passa a ga- 
rantir as finalidades expostas na concepção utilitarista de educação, 
na qual a universidade é vista como uma prestadora de serviços à 
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sociedade e não apenas como um espaço de disseminação de conheci- 
mento e pesquisa. Essa lógica, que atende aos objetivos da sociedade 
capitalista, propõe o caráter mercadológico da educação, voltada 
para a construção do “cidadão produtivo”, para o atendimento das 
demandas do mercado, requerendo, portanto, o incremento de nova 
base curricular e novas posturas metodológicas, além de uma nova 
estrutura de organização e gestão institucional. 

Dar conta dessa nova configuração de ensino e do universo de 
transformações provocadas pela globalização requer não apenas o 
desenvolvimento de um conjunto de estratégias para a regulação e 
controle das instituições educacionais, no que tange à diversificação, 
expansão e oferta, mas, sobretudo, melhorar os mecanismos de 
avaliação que têm sido implementados pelo Estado, com o intuito 
de aperfeiçoar a qualidade da educação superior. Alguns exemplos 
podem ser destacados: Exame Nacional de Cursos (Provão), Avaliação 
das Condições de Ensino (ACE), e mais recentemente, o Sistema 
Nacional de Avaliação da Educação Superior (SINAES), contemplando 
a Avaliação Institucional, Avaliação dos Cursos de Graduação (ACG) 
e o Exame Nacional do Desempenho dos Estudantes (ENADE). 

Entender e mergulhar nessa diversidade, não apenas significa 
encontrar mecanismos de operacionalização, mas, sobretudo, pro- 
mover avaliações sistemáticas relacionadas ao processo avaliativo, 
visando ao aperfeiçoamento da gestão das políticas educativas e 
garantindo a credibibdade no sistema avabativo, que tem se constitu- 
ído ao longo da história da educação superior brasileira. Isso requer 
a adoção de estratégias institucionais que favoreçam a concepção 
de uma avaliação sistemática, com características que valorizem a 
participação, o envolvimento público e social, para que seja capaz 
de atender não apenas o aspecto formal da regulação, mas a possi- 
bilidade de um autoconhecimento, emancipação e fortalecimento 
da autonomia das instituições universitárias. 
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A avaliação como 
uma política pública: aspectos 
da implementação do SINAES 


Jorge Luiz Lordêlo de Sales Ribeiro (UFBA) 


INTRODUÇÃO 

Avaliar significa determinar o valor de algo. Outros significados 
podem ainda ser acrescentados ao termo, tais como: o preço, a uti- 
lização, a serventia, a eficácia, a validade que se estabelece de algo 
ou de alguma coisa. (HOUAISS, 2001) As palavras aferir, examinar, 
verificar, eficiência, eficácia são comuns quando nos referimos à 
avaliação e mostram o quanto o termo, ainda fiel à sua origem 
etimológica, está ligado à ideia de mensuração e medida, o que 
transforma a avaliação numa poderosa ferramenta de controle, de 
fiscalização e de exclusão. Certamente este é um dos motivos pelo 
qual a maioria das pessoas vê a avaliação como uma prática negativa, 
que expõe e causa mais danos que benefícios ao avaliado. Embora, 
nos textos e nos discursos, os benefícios da avaliação sejam sempre 
destacados, na prática, poucos são os que se submetem à avaliação 
compreendendo-a como um processo de crescimento e desenvolvi- 
mento pessoal ou institucional. 

Perrenoud (1999) entende a avaliação como um processo que 
precede a ação. Para ele, avalia-se sempre com 0 propósito de agir, 
de tomar decisões. Mesmo nas situações em que esta relação não 
está claramente estabelecida, a avaliação orienta uma inovação, 
fundamenta a favor ou contra uma reforma, estabelece índices de 
eficácia do ensino, indica 0 impacto de uma medida adotada, daí a 
referência tão constante com a medida. 


Hadji (2001), apoiado nas posições de Guilford e Boniol, define 
medida como a atribuição de um valor numérico a um aconteci- 
mento, baseado em critérios sistematicamente adotados e aceitáveis, 
chamando a atenção para o fato dessa operação, a de medir, ser 
caracterizada pela descrição quantitativa da realidade num determi- 
nado ponto de vista, ou seja, numa única dimensão. Assim entendida, 
a medida é um elemento da avaliação, sem dúvida um elemento 
importante, mas insuficiente para traduzir todas as dimensões en- 
volvidas num processo de avaliação. 

Apesar da importância e da intensa aplicação em todos os campos 
e atividades humanas, foi no campo da educação que a avaliação se 
popularizou e assumiu um destacado papel nos processos de ensino- 
aprendizagem, de tal modo que, ao falar de avaliação, as pessoas a 
associam quase automaticamente à escola, ao ensino, de qualquer 
nível, de qualquer área. Considerado um precursor da avaliação 
educacional, Tyler (1976) mostra a utilidade da avaliação no campo 
educacional, pela necessidade de se verificar se os resultados das 
atividades escolares foram alcançados de acordo com 0 planejado 
e, além disso, pela necessidade de analisar as consequências dos 
planos de ensino e dos currículos instituídos na escola. A avaliação, 
portanto, seria um instrumento de diagnóstico que torna possível, 
aos profissionais da educação, fazer correções em seus programas 
e aprimorar 0 seu trabalho. 


A AVALIAÇÃO INSTITUCIONAL 

A avaliação aplicada ao campo da educação, como foi visto, é utiliza- 
da comumente para aferir 0 nível de rendimento escolar dos alunos 
e o desempenho do professor. Entretanto, a avaliação é também 
utilizada para julgar 0 trabalho das instituições de ensino e dos sis- 
temas educacionais, seja para verificar a sua eficácia e eficiência, seja 
para identificar os efeitos produzidos por uma ação ou uma política 
aplicada ao sistema educacional ou a uma instituição em particular, 
seja ainda para identificar a consecução de objetivos previamente 
propostos. Belloni (1998) estabelece a diferença entre a avaliação 
da aprendizagem, que trata do rendimento escolar, da apreciação 
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do processo de ensino e aprendizagem e do currículo, e a avaliação 
institucional, que trata do desempenho da instituição, das políticas 
públicas e da boa realização de um projeto. A expressão avaliação 
institucional é utilizada ainda para avaliação da implementação de 
planos ou projetos, dos resultados obtidos ou do impacto causado. 
Assim, a avaliação extrapolou os limites das relações de ensino na 
sala de aula e passou a mensurar a própria escola, o sistema educa- 
cional e as políticas que regulam o setor. 

Como processo, a avaliação institucional constitui um serviço 
prestado à sociedade à medida que os participantes da insti- 
tuição possam repensar seus compromissos e metas, modos 
de atuação e finalidades de suas práticas e de sua missão. 
(LEITE; TUTIKIAN; HOLZ, 2000, p. 33) 


Dias Sobrinho (1996) afirma que um processo de avaliação não 
se restringe apenas a aspectos organizacionais e gerenciais de uma 
instituição, mas ultrapassa seus limites, atinge contextos cada vez 
mais amplos, reflete a ideologia e os valores orientadores da so- 
ciedade. Exatamente por isso, a avaliação institucional, sendo um 
processo destinado a analisar 0 desempenho global das instituições, 
seus processos de funcionamento e os resultados alcançados, identi- 
ficando os seus pontos fortes e fracos e, principalmente, verificando 
as dificuldades enfrentadas, com vistas à sua superação, deve levar 
em consideração a natureza da instituição, 0 contexto em que está 
inserida, a sua missão, 0 tipo de produto produzido, etc. Cada um 
destes aspectos deve ser objeto de análise, e a metodologia aplicada 
deve contemplar todos eles. Tais princípios e procedimentos são a 
base para a avaliação de qualquer organização ou instituição. 

O desenvolvimento da avaliação, acompanhando 0 aumento gra- 
dual da complexidade das situações e das demandas, não se limita 
ao aperfeiçoamento das técnicas e dos métodos, mas, sobretudo, 
à mudança da concepção acerca do processo, da sua importância, 
dos seus objetivos e finalidades. A avaliação, como foi mencionado 
anteriormente, deixa de ser uma atividade meramente técnica e 
incorpora duas outras importantes dimensões: a dimensão política 
e a dimensão ética. Esta visão ampliada da avaliação a transforma, 
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sobretudo, numa atividade de negociação entre avaliador e avaliado, 
exigindo, assim, não só o aperfeiçoamento constante dos instrumen- 
tos e métodos de avaliação, como também uma postura mais demo- 
crática e participativa tanto na elaboração, quanto na execução da 
avaliação. Em decorrência disso, como observa Dias Sobrinho (2003), 
surge um conflito entre epistemologias positivistas e naturalistas, 0 
que resulta, de um lado, numa compreensão da avaliação como um 
processo voltado para 0 crescimento e aperfeiçoamento e, de outro, 
a avaliação como um processo de aferição voltado para 0 controle. 


MODELOS DE AVALIAÇÃO INSTITUCIONAL 

Esses dois pontos de vistas divergentes sobre a condução do processo 
vão se constituir em dois diferentes modos de fazer avaliação, em 
torno dos quais se construirão paradigmas, enfoques e modelos de 
trabalho, amplamente discutidos na literatura. Estes termos, utili- 
zados muitas vezes como sinônimos, sem maiores preocupações em 
se estabelecer distinções conceituais, produzem uma multiplicidade 
de formas de classificação dos tipos de avaliação. 

São muitas as classificações do tipo ou formato de avaliação 
institucional encontradas na literatura. Algumas delas baseadas na 
finalidade do processo, outras nos objetivos, outras, ainda, no nível 
de participação dos usuários, assim como na concepção filosófica 
e/ou política que norteiam 0 processo de avaliação, tais como en- 
tendem Cousins e Earl (1995), House (2000), Saul (2001), e House e 
Howe (2001) e Leite (2005). 

Um modo comumente empregado para classificar os tipos de 
avaliação, talvez um modo mais simples, é agrupá-los segundo a fina- 
lidade. Deste ponto de vista, em linhas gerais, podem-se agrupar os 
diversos tipos de avaliação institucional em dois grandes grupos: 

a) os modelos educativos, ou formativos, cuja principal finalida- 
de é desenvolver e aprimorar a qualidade do trabalho produzi- 
do pela instituição avaliada. Este modelo é caracterizado pela 
ênfase na análise qualitativa e incentiva 0 envolvimento de 
todos os segmentos da instituição na construção e execução 
do processo, portanto é participativo e mais democrático; 
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b) os modelos regulatórios, cuja principal finalidade é garantir o 
cumprimento das regras de funcionamento preestabelecidas 
para o sistema, garantindo, consequentemente, o nível de 
qualidade do trabalho das instituições avaliadas. O modelo 
tem, como principal característica, a ênfase na análise quan- 
titativa, sendo tecnocrático e centralizador. 

Um aspecto importante da discussão sobre os dois modelos de 
avaliação apresentados é a relação com a qualidade. As avaliações re- 
gulatórias, como as avaliações de curso de graduação concebidas pelo 
MEC, e baseadas num padrão de qualidade, por exemplo, não pre- 
tendem aumentar a qualidade do sistema e sim manter a qualidade, 
assegurando o nível mínimo que as Instituições de Ensino Superior 
(IES) devem demonstrar às autoridades educacionais. Porém, ao se fa- 
zer a avaliação das instituições de ensino e se exigir que elas atendam 
aos critérios adotados, consegue-se que elas fiquem mais parecidas 
umas com as outras. Dessa forma, a avaliação termina padronizando 
as instituições, independentemente das suas características, e isto 
não implica necessariamente maior ou menor qualidade. 

Ainda em relação a esses dois pontos de vistas acerca dos mode- 
los de avaliação, Afonso (2000), ao discutir a avaliação no contexto 
das mudanças sociopolíticas contemporâneas, situa muito bem a 
avaliação, conforme a representação na figura a seguir: 



Figura 1 - Mudanças sociopolíticas contemporâneas. 
Fonte: Afonso (2000, p. 121) 
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O esquema proposto por Afonso (2000) estabelece duas linhas 
de contradições, a primeira sendo decorrente da crise do Estado- 
providência. Uma nova ordem surge em seu lugar, e 0 Estado pas- 
sa a ser regulador de serviços em lugar de provedor. Daí, pode-se 
identificar, no campo da avaliação, um movimento de resistência a 
esta situação, que defende a avaliação formativa, ou educativa, em 
contraposição à avaliação regulatória. A segunda linha de contradi- 
ção decorre das diferenças entre as posições neoliberais e neoconser- 
vadoras. No campo da avaliação, estas duas tendências políticas se 
expressam nos modelos avaliativos que possibilitam maior controle 
e regulação por parte do Estado, em contradição com os modelos 
avaliativos que possibilitam maior controle e regulação pelo mer- 
cado. A esta segunda contradição, 0 autor chama de “paradoxo do 
Estado neoliberal”. 

Se a segunda contradição pode ser resolvida, ou pelo menos, 
minimizada por um dispositivo em que 0 Estado divide com 0 mer- 
cado a função de controle e fiscalização da regulação, a primeira 
contradição persiste e parece ser inconciliável: 0 modelo regulatório 
e 0 modelo educativo. 

Nos modelos educativos, ou formativos, há 0 compromisso com 
0 desenvolvimento da própria instituição avaliada, a partir da utili- 
zação dos resultados obtidos na avaliação. Todo 0 procedimento da 
avaliação é organizado em função das características da instituição 
e da sua capacidade de aproveitamento dos resultados produzidos. 
Neste caso, é muito desejável 0 envolvimento de todo 0 corpo social, 
de todos os segmentos da instituição, tanto nas etapas de preparação 
como nas etapas de execução e análise. Este modelo é utilizado 
principalmente nos processos de autoavaliação, ou processos em 
que esta é tomada como eixo, como atividade central da avaliação. 
Os avaliadores devem estar bem treinados e convictos de que 0 seu 
papel será sempre de contribuir para que a instituição supere as suas 
dificuldades, aumentando gradativamente 0 nível de qualidade do 
trabalho que realiza. Esta compreensão do papel do avaliador deve 
estar clara também para os avaliados, para que se possa superar 0 
temor e a desconfiança que naturalmente se instala entre as partes 
envolvidas num processo de avaliação. 


62 JORGE LUIZ LORDÊLO DE SALES RIBEIRO 


Nos modelos regulatórios, ao contrário, não há um compromisso 
direto com o desenvolvimento da instituição e sim com a manuten- 
ção da qualidade do sistema como um todo, mesmo sabendo que a 
manutenção da qualidade do sistema pode implicar no aumento da 
qualidade das instituições que compõem o sistema. O efeito, portanto, 
é indireto. A forma de conduzir o processo é também radicalmente 
diferente, pois os avaliadores partem de critérios preestabelecidos, 
que indicam como as instituições devem funcionar para garantir o 
nível de qualidade mínima aceitável. A avaliação, neste caso, procura 
identificar se a instituição atende ou não aos critérios determinados, 
se os objetivos previamente demarcados foram ou não cumpridos. 
Por esta lógica, quando uma instituição atende aos critérios, significa 
que a qualidade do seu trabalho está assegurada. O papel do ava- 
liador é sempre de identificação, verificação dos indicadores e ele 
deve estar muito bem treinado para fazer o seu trabalho de forma 
objetiva, com o máximo de imparcialidade e isenção. 


O SISTEMA NACIONAL DE AVALIAÇÃO 
DA EDUCAÇÃO SUPERIOR (SINAES) 

Em abril de 2003, através das Portarias MEC/SESu n° 11, de 28 de abril 
de 2003, e n° 19, de 27 de maio de 2003, 0 então Ministro da Educação 
Cristovam Buarque constituiu a Comissão Especial de Avaliação da 
Educação Superior (CEA), 

[...] com a finalidade de analisar, oferecer subsídios, fazer 
recomendações, propor critérios e estratégias para refor- 
mulação dos processos e políticas de avaliação da Educação 
Superior e elaborar a revisão crítica dos seus instrumentos, 
metodologias e critérios utilizados [...]. (INEP, 2004b, p. 9) 


Um ano depois, o Sistema Nacional de Avaliação da Educação 
Superior (SINAES) foi instituído através da Lei n° 10.861, de 14 de 
abril de 2004 e regulamentado pela Portaria n° 2.051, de 9 de julho 
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i Estima-se que 
o mercado privado 
educacional brasileiro 
movimenta quantias 
da ordem de io bilhões 
de reais por ano. Uma 
parcela significativa 
deste montante é 
investida em publicidade. 
(SCHWARTZMAN; 
SCHWARTZMAN, 
2002, p. i) 

2 Cerca de 70% do 
Sistema Federal de Ensino 
Superior é composto por 
IES privadas, de pequeno 
porte, com até 600 alunos. 


de 2004. 0 SINAES conjuga os dois modelos de avaliação: a avaliação 
de caráter educativo, com o intuito de radiografar o funcionamento 
da IES, apontando os seus pontos fortes e fracos, permitindo, assim, 
0 aprimoramento contínuo do seu trabalho: e a avaliação regulatória, 
ou somativa, com o intuito de verificar as condições de funciona- 
mento da IES, exigindo um padrão mínimo de qualidade para a 
sua permanência no Sistema. A coexistência destas duas funções 
parece indicar uma tentativa de solucionar problemas observados 
nos processos de avaliação anteriores ao SINAES, quando a ênfase 
num modelo ou no outro produziu ganhos, porém trouxe também 
grandes dificuldades. Contudo, a junção destas duas funções, que não 
são excludentes entre si, parece não ser fácil. Primeiro por conta da 
dificuldade de treinamento dos avaliadores, conforme foi apontado 
anteriormente. Segundo, por causa das características do nosso 
Sistema Federal de Ensino Superior: composto por IES de grande 
porte, quase todas públicas, cujo mantenedor é o governo federal; 
um pequeno percentual representa as instituições confessionais 
e comunitárias, sem fins lucrativos: e uma grande quantidade de 
IES de pequeno e médio portes, normalmente faculdades privadas, 
com fins lucrativos. Neste caso, como a regulação é exercida pelo 
próprio Estado, que também é o mantenedor das grandes instituições 
educacionais, as consequências de uma eventual avaliação negativa 
não produzirão efeitos sobre o funcionamento destas IES. E mesmo 
que os efeitos da avaliação afetem a sua reputação, não colocarão em 
risco a continuidade do seu funcionamento. Do mesmo modo, as IES 
de grande porte privadas, cujos mantenedores são grandes grupos 
econômicos, mesmo com a imagem abalada por uma eventual ava- 
liação negativa, terão fluxo de caixa suficiente para reverter a sua 
imagem através da publicidade 1 . Os efeitos de uma avaliação negativa 
sobre as IES de médio e pequeno portes, privadas, mantidas por 
famílias ou pequenos grupos empresariais, podem ser devastadores 
e colocar em risco a própria sobrevivência institucional. Portanto, os 
efeitos regulatórios são muito mais intensos para as IES privadas de 
pequeno porte. Como estas IES constituem a maior parte do Sistema 
Federal de Ensino Superior 2 , a função regulatória da avaliação ter- 
mina sobressaindo-se, em detrimento da função educativa. 
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0 Sistema Nacional de Avaliação da Educação Superior, portanto, 
se constituiu como uma política pública direcionada para as IES de 
pequeno porte espalhadas por todas as regiões do Brasil. Na medida 
em que o efeito da avaliação se produz mais intensamente sobre estas 
IES, como foi mencionado, a simples implementação do SINAES nestas 
instituições, seguindo as orientações e as diretrizes estabelecidas pelo 
poder público, seria capaz, por si só, de promover um modelo de 
gestão compatível com as suas dimensões e as suas possibilidades. 


O CONCEITO DE POLÍTICA E A TEORIA POLÍTICA 

O termo política tem sido utilizado de diversas maneiras e com 
diferentes significados ao longo do tempo. Porém, o termo é empre- 
gado mais frequentemente para designar o debate ou o confronto 
entre dois ou mais grupos em torno de uma ideia. Duverger (1962) 
observa que 0 significado do termo oscila entre duas grandes inter- 
pretações: a primeira dessas interpretações entende a política como 
uma luta entre grupos ou entre indivíduos. Neste caso, a vitória 
de uma das partes lhe confere 0 poder, permite a sua dominação 
sobre a sociedade e lhe possibilita tirar proveito desta situação. Os 
demais indivíduos da sociedade fazem oposição a esta dominação, 
empreendendo esforços para detê-la ou até mesmo destituir 0 grupo 
dominante desta posição. A segunda dessas interpretações entende 
a política como uma negociação, com vistas a manter a ordem e a 
justiça numa sociedade. Neste caso, a política possibilita harmonizar 
posições antagônicas, permitindo, assim, a participação dos indiví- 
duos, integrando-os em torno de ideais de justiça e equilíbrio. 

Parsons (1970) traduz esse conceito de modo mais geral, definindo 
política como a ação que move os indivíduos na busca coletiva de 
fins coletivos. Robert Dahl (1970), por sua vez, apoiado nas posições 
de Lasswell e Weber, bem como nas ideias de Aristóteles, define 
política de forma mais ampla, como um padrão de relações huma- 
nas, baseadas em poder, governo e autoridade. Dagnino (2002), ao 
discutir as definições de Easton (1953), Heclo (1972), Jenkins (1978), 
Wildavsky (1979) e Ham e Hill (1993), destaca que as características 
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do conceito de política podem ser resumidas por três elementos: 
decisões e ações que transformam ou agregam valores a algo, uma 
instância em que as ideias são articuladas e confrontadas com o con- 
texto e os mecanismos que sustentam o curso do desenvolvimento 
das decisões e ações no tempo. 

É fácil observar que as definições de política envolvem sempre a 
discussão ou negociação em torno de um curso de ações, antecedidas 
por um conjunto de decisões, direcionadas a metas preestabelecidas. 
Bobbio, Matteucci e Pasquino (2002), perseguindo a etimologia do 
termo, mostra que a palavra política foi originada do adjetivo polis, 
que significa tudo 0 que se refere à cidade, portanto, ao que é urbano, 
civil e público. Ainda segundo Bobbio, Matteucci e Pasquino 0 termo 
durante muito tempo foi utilizado para obras dedicadas ao estudo 
das coisas relacionadas ao Estado: 

Na época moderna o termo perdeu o seu significado origi- 
nal, substituído, pouco a pouco, por outras expressões como 
“Ciência do Estado”, “Doutrina do Estado”, “Ciência Política”, 
passando a ser comumente usado para indicar a atividade ou 
conjunto de atividades que, de alguma maneira, tem como 
referência a polis, ou seja, o Estado. (BOBBIO, 2002, p. 954) 


As definições de Ciência Política vão oscilar entre dois pontos de 
vistas: aqueles que a definem como a Ciência do Estado e aqueles 
que a definem como a Ciência do Poder. Na prática, isto signifi- 
ca preocupar-se com as questões do funcionamento do Estado, na 
primeira acepção, e preocupar-se com as funções de governo, na 
segunda acepção. 

Uma teoria política, como define Easton (1970), é um conjunto de 
ideias sistematizadas, que formam um sistema simbólico que, por sua 
vez, permite a compreensão das estruturas políticas e a explicação 
dos fenômenos neste campo. A complexidade dos fatos em política, 
ou do que se poderia chamar de fenômenos políticos, é muito grande, 
0 que normalmente exige várias formas de leitura, vários pontos de 
vistas ou enfoques, que se traduzem nas teorias. As teorias, portanto, 
permitem a análise do objeto por diferentes ângulos. 
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A ANÁLISE DE POLÍTICAS PÚBLICAS 


Os termos Policy, politics e polity, normalmente apresentados em inglês 
pela dificuldade de correspondência exata dos seus significados em 
português, definem três importantes conceitos para análise de políti- 
cas, cada um deles enfatizando um aspecto ou dimensão da política. 
O termo policy está relacionado aos conteúdos da política; o termo po- 
litics, aos processos políticos e o termo polity, às instituições políticas. 
Dagnino (2002), articulando as ideias de Lasswell (1951), Dye (1976), 
Wildavsky (1979), Ham e Hill (1993) e Bardach (1998), define a análise 
de políticas públicas como um conjunto de atividades relacionadas 
às ações governamentais. Do mesmo modo, Young (1970) assinala 
que, embora a análise de políticas seja tradicionalmente relacionada 
às estruturas políticas que determinam 0 modo de organização e 
funcionamento das instituições, a ênfase maior neste campo recai 
sobre 0 Estado, especialmente nas estruturas do governo. 

As políticas variam segundo as suas finalidades e objetivos. 
Embora Coimbra (1989) proponha uma classificação baseada em 
perspectivas teóricas, tais como a teoria da cidadania, 0 marxismo, 
0 funcionalismo, a teoria da convergência, 0 pluralismo e as teorias 
econômicas, é mais comum encontrar-se na literatura, classificações 
baseadas na finalidade ou objetivo e, por consequência, nos resul- 
tados produzidos pela política. Consoante com esta perspectiva, 
Santos (1989) classifica as políticas em preventivas, compensatórias 
e redistributivas, que podem ser entendidas como uma variação da 
classificação de Lowi fapud SOUZA, 2006), que propõe quatro tipos 
de políticas: 

a) as políticas distributivas - são iniciativas do governo, cujos 
resultados geram maior impacto sobre indivíduos ou determi- 
nados grupos sociais, em prejuízo da sociedade como um todo. 
Na maioria das vezes, beneficiam uma parcela significativa da 
população e, por isso, os ganhos tornam-se mais perceptíveis 
do que as perdas. Este tipo de política gera pouco conflito; 

b) as políticas regulatórias - são aquelas que normatizam as 
atividades ou ações de determinados grupos ou indivíduos 
na sociedade. Estabelecem limites, impõem condições para 0 
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funcionamento, de modo que são as políticas mais facilmente 
percebidas pela população. O grau de conflitos depende da 
relação estabelecida entre os custos e os benefícios gerados 
pela política; 

c) as políticas redistributivas - são políticas que impõem, no 
curto prazo, perdas e sacrifícios de certos grupos sociais, e 
apontam ganhos futuros, embora incertos, para outros grupos. 
Implica num deslocamento de recursos ou vantagens entre 
grupos sociais, por isso o nível de conflito é alto; 

d) as políticas constitutivas - também chamadas de políticas 
estruturadoras, são aquelas que organizam os procedimentos, 
que determinam as regras e condições gerais de funcionamen- 
to do processo político. 

Cada um desses tipos de políticas vai requerer dos seus adminis- 
tradores, ou fazedores de políticas, modos específicos de condução 
para obterem os resultados planejados. Portanto, a principal função 
dos modelos de análise política é proporcionar os conhecimentos 
necessários para permitir a escolha das estratégias corretas para a 
aplicação bem-sucedida de uma política pública. 


OS MODELOS DE ANALISE DE POLÍTICAS PÚBLICAS 

Alguns modelos foram propostos para a compreensão das políticas 
públicas e possibilitar a sua análise. As classificações são úteis, pois 
agrupam esses modelos em função de alguma característica ou ele- 
mento da política que é destacado. A compreensão desses modelos 
se faz necessária, na medida em que permite compreender como 
essas características ou elementos destacados são relacionados para 
explicar um fenômeno político. 

Nesse sentido, é importante identificar um modelo de análise 
política que permita estudar o SINAES, levando em consideração as 
suas características e as estratégias utilizadas para a sua implementa- 
ção. A avaliação da educação superior brasileira foi concebida como 
um sistema - o SINAES - e implementada por partes. Primeiro, a 
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elaboração do projeto pelas IES, depois as recomendações para a ela- 
boração do PDI e PPI, a autoavaliação pelas IES, seguida pela avalia- 
ção externa pelo Inep, a integração dos dados do Cadastro Nacional 
de Docentes, do Censo e do Exame Nacional de Desempenho do 
Estudante (ENADE). Cada uma dessas etapas tem orientações, di- 
retrizes e prazos estabelecidos. Concomitantemente, outras ações 
foram necessárias para colocar o SINAES em pleno funcionamento: 
constituição das comissões (Conaes, CTAA, CPA, Comissões Externas 
de Avaliação), constituição do banco de avaliadores (BASis). Para que 
o sistema funcione, é necessário que cada uma das etapas e ações 
componentes aconteça conforme foi planejada, de modo que os 
resultados parciais obtidos em cada uma delas possam ser integrados 
e traduzidos, constituindo uma visão ampla e sistêmica do conjunto 
de IES avaliadas. 

O acompanhamento das etapas e ações componentes do SINAES 
será fundamental para que se possa verificar o nível de desempenho 
de cada uma delas, permitindo, assim, os ajustes e correções, quando 
necessárias. 

Souza (2006) faz um esforço para reunir, numa apresentação 
sucinta, os modelos que considera mais importantes de análise 
política. A autora comenta as principais características do incre- 
mentalismo, do ciclo de política pública, do modelo garbage can, 
da coalizão de defesa, do modelo de arenas sociais, do equilíbrio 
interrompido e os modelos influenciados pelo novo gerenciamento 
público, buscando identificar os seus principais pontos de conver- 
gência e divergência. 

O modelo de análise “Ciclo de Políticas Públicas” ou Policy Cycle, 
como é também referido na literatura, é bem adequado para estudar 
0 processo de avaliação institucional/SINAES, pois permite estudar 
detalhadamente as diversas fases envolvidas num processo político, 
e compreender como, em cada uma dessas fases, as relações de poder, 
os processos decisórios e as relações entre os atores determinam as 
práticas político-adiministrativas. 

O modelo de análise proposto por Kingdon (1995 apud CARDOSO, 
2004), chamado de ciclo da política pública, ou Policy Cycle, considera 
o processo político como algo dinâmico, organizado no tempo e 
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composto por etapas bem demarcadas e que permite, inclusive, pos- 
sibilidades de aprendizagem com o próprio dinamismo do processo. 
Embora existam várias propostas de divisão do ciclo político, de um 
modo geral, são identificadas como a primeira etapa, a definição da 
agenda, ou seja, quando um problema é identificado e tomado como 
objetivo para busca de soluções; a segunda etapa é a identificação 
das alternativas possíveis para a solução do problema; a etapa se- 
guinte é a avaliação das opções disponíveis; depois, a implementação 
constitui-se na etapa seguinte, concluindo com a avaliação, que é 
a última etapa. 

A ênfase no ponto de partida do ciclo é destacada por Kingdon 
(1995 apud CARDOSO, 2004), que considera importantes “as nuances 
que envolvem os estágios de pré-decisão”. De fato, a preocupação 
com as fases iniciais do SINAES pode ser identificada nos primeiros 
pronunciamentos do governo federal acerca da necessidade da cria- 
ção de uma política de avaliação para a educação superior, 

Tratava-se, pois, urgente a criação de um Sistema Nacional 
de Avaliação da Educação Superior (SINAES) a fim de suprir 
esta lacuna das políticas educacionais - diagnosticada desde 
o primeiro Programa de Governo do Presidente Luiz Inácio 
Lula da Silva, cuja orientação era clara: Uma política de ensi- 
no superior precisa apoiar-se em pressupostos acadêmicos e 
políticos que indiquem claramente sua fundamentação dou- 
trinária. [...] O enfoque adotado conduz à problemática das 
complexas relações entre saber e poder, propondo uma nova 
política capaz de refundar a missão pública do sistema univer- 
sitário brasileiro, respeitando sua diversidade, mas tomando-o 
compatível com as exigências de qualidade, relevância social 
e autonomia universitária. (TRINDADE, 2007, p. 12) 

Feita essa constatação, o passo seguinte foi a criação de uma 
comissão capaz de elaborar uma proposta para a criação de um 
sistema nacional de avaliação. A proposta original foi apresentada ao 
Ministro da Educação em 2003 e 0 percurso dessa proposta, até a sua 
aprovação (Lei n° 10.861), está descrita no livro; SINAES: da concepção 
à regulação, publicado pelo INEP em 2004. Muitos estudos foram rea- 
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lizados sobre o SINAES, sobretudo estudos comparativos, buscando 
estabelecer semelhanças e diferenças com processos avaliativos 
anteriores. (BERTOLINI, 2004; BARREYRO; ROTHEN, 2006) Outros 
estudos procuram, ainda, analisar a implantação do SINAES do ponto 
de vista sistêmico e do ponto de vista da CPA (ALMEIDA JÚNIOR, 
2005b; ANDRIOLA, 2005; AUGUSTO; BALZAN, 2007), identificando 
os entraves e as dificuldades enfrentadas nos momentos iniciais da 
execução da avaliação institucional. Entretanto, pouca atenção foi 
dispensada à implementação do SINAES no âmbito das IES. 

A desatenção com a etapa de implementação do ciclo de políticas 
públicas é destacada na literatura. Segundo Faria (2003), de todas as 
fases do ciclo de políticas, a implementação é a fase menos estudada. 
É muito alta a complexidade do processo de implementação de uma 
política do porte do SINAES, com a sua abrangência e, sobretudo, 
com a sua capacidade de gerar consequências sobre 0 funcionamento 
das IES, especialmente as de pequeno porte. A forma como a política, 
que tem efeito regulatório, é absorvida pela IES e o modo como as 
diretrizes e orientações são postas em prática, determinam 0 nível 
de qualidade dos resultados e mesmo a eficácia dos efeitos planeja- 
dos. Daí a importância de acompanhamento minucioso desta etapa, 
visando superar as barreiras e resistências que operam naturalmente, 
em tais situações, bem como identificando aspectos e situações que 
eventualmente necessitem de ajustes e correções por parte dos 
formuladores da política. 

Silva e Melo (2000) acreditam que as dificuldades enfrentadas 
durante a implementação das políticas públicas são as principais 
responsáveis pelos fracassos de programas governamentais. Por 
isso, defendem 0 ponto de visita de que os processos de avaliação de 
políticas públicas devem atentar, especialmente, para os processos 
de implementação. 

Na visão clássica, a implementação é uma fase do ciclo de políticas 
públicas, posterior à fase de formulação, em que se executa 0 que foi 
formulado e planejado, desconsiderando os efeitos retroalimentado- 
res que a implementação produz sobre a formulação. Neste caso, “a 
implementação é entendida, fundamentalmente, como um jogo de 
uma só rodada onde a ação governamental, expressa em programas 
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ou projetos de intervenção, é implementada de cima para baixo (top 
down)”. (SILVA; MELO, 2000, p. 5) 

O enfoque top down entende a implementação como um processo 
preestabelecido, com regras e procedimentos bem definidos, em 
que os formuladores têm total controle do processo. Neste caso, 0 
insucesso na implementação significa que, em algum ponto do pro- 
cesso, os procedimentos foram mal executados ou mal-entendidos. 

Esta visão simples, porque reflete no plano ideal como a imple- 
mentação deveria ocorrer, é criticada exatamente porque coloca à 
margem do processo toda a dinâmica que se estabelece na relação 
entre os indivíduos e entre os grupos, a sutileza dos conflitos de 
interesses e a capacidade de influência que cada ator ou grupo exerce 
sobre 0 processo de implementação. 

O clássico trabalho de Pressman e Wildavsky (1984) alerta para os 
“contratempos” experimentados durante a fase de implementação e, 
sobretudo, chama a atenção para a necessidade de estudos específi- 
cos sobre esta fase. Se a implementação de uma política depende das 
ações de muitos atores, em muitas instâncias, o nível de aceitação e 
colaboração de cada um deles deve ser total, para que a implemen- 
tação ocorra conforme foi planejada. Caso haja, em qualquer das 
instâncias, uma colaboração menor do que a necessária haverá 0 
que Wildavsky chama de déficit de implementação. A cumulação de 
déficits de implementação colocará os objetivos da política em risco, 
ou, na melhor das hipóteses, diminuirá os efeitos dos resultados 
previstos quando da formulação da política. A implementação, neste 
caso, é a fase marcada pela imprevisibilidade e, portanto, pela perda 
de controle por parte do formulador da política, pois não é possível 
prever todas as situações envolvidas no processo de implementação 
de uma política, conforme Cunha (2001). 

O enfoque boLLom up, ao contrário do top down, entende a imple- 
mentação como um processo caracterizado por um estado de tensão 
entre aqueles interessados em colocar a política em ação e aqueles 
que serão afetados por ela. A implementação, do mesmo modo que 
a formulação, é um processo caracterizado por intensa negociação 
entre as partes interessadas e, por isso mesmo, 0 controle não está 
totalmente nas mãos do formulador, nem totalmente nas mãos do 
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implementador. Neste caso, o insucesso na implementação da política 
significa incapacidade de negociação durante o processo. É grande o 
número de variáveis que influenciam no processo de elaboração das 
políticas públicas. Uma boa parte dessas variáveis ocorre, exatamente, 
no momento em que elas são postas em prática, ou seja, durante a 
sua implementação, pois é o momento, como já foi demonstrado, 
em que os formuladores perdem o controle do processo. 

Silva e Melo (2000) identificam três dimensões que devem ser 
observadas nos estudos de implementação de políticas: a primeira 
dimensão diz respeito à discrepância entre o que foi planejado, ou 
seja, a formulação da política, e 0 formato final adquirido pela po- 
lítica após 0 processo de implementação; a segunda corresponde às 
alterações institucionais decorrentes do processo de implementação, 
ao longo do tempo. E a terceira dimensão enfatiza as condições que 
possibilitam ou dificultam 0 processo de implementação. 

A vantagem de se tomar a implementação como uma forma de 
redefinir os rumos da política, corrigindo problemas e distorções, 
é óbvia, tanto pela economia na redução de custos como pela redução 
do tempo. Todavia, a análise da etapa de implementação não é tarefa 
fácil, seja por conta do número de atores envolvidos; seja pela quan- 
tidade de tarefas a serem executadas, num curto espaço de tempo. 

Teoricamente, no que diz respeito à educação superior, as van- 
tagens de corrigir os rumos das políticas de avaliação e negociar 
a sua redefinição durante o processo de implementação seriam 
enormes, não só pelo número de instâncias envolvidas, como, 
e até mesmo, pelas características deste tipo de atividade, em que 
a ampla participação dos envolvidos é sempre desejável. Na prática, 
porém, esta convicção é enfraquecida diante dos enormes desafios 
de avaliar um sistema de educação superior com as características 
do brasileiro, contemplar as especificidades das diferentes IES e as 
especificidades das regiões onde estão inseridas. Ademais, avaliar 
não é uma tarefa fácil, envolve dimensões técnica, ética e política, 
e exige habilidades e competências, tanto do avaliador quanto do 
avaliado, difíceis de serem treinadas. Além disso, é necessário definir 
com clareza 0 modelo de avaliação a ser adotado, examinar as difi- 
culdades que tal modelo apresentará, tanto para 0 avaliador como 
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para o avaliado, e o tipo de resultado que poderá ser produzido a 
partir da sua aplicação. 


O PROCESSO DE IMPLEMENTAÇÃO DO SINAES 


3 A Conaes, o Inep 
e o MEC promoveram 
vários eventos: “Oficinas 
Regionais de Apoio à 
Auto-avaliação - (por 
regiões geográficas)”; 
“Workshop Regional sobre 
Avaliação da Educação 
Superior - a avaliação 
interna”; “Capacitação de 
Coordenadores das CPAs - 
(por regiões geográficas)”. 
Os eventos reuniam 
coordenadores de CPA, 
em função do tamanho 
das IES (IES com até 500 
alunos, IES com até 2.500 
alunos e IES com mais de 
2.500 alunos). 


Pode-se pensar a implementação do SINAES considerando dois pontos 
de vista: primeiro, no âmbito do sistema de ensino superior; segundo, 
no âmbito das instituições de ensino superior. Estes dois pontos de 
vista se constituem em duas etapas de implementação, que acon- 
tecem em dois momentos consecutivos, sob a responsabilidade de 
diferentes agentes, que utilizam estratégias e meios específicos para 
consecução dos seus objetivos, e, consequentemente, não oferecem 
as mesmas possibilidades de acompanhamento e controle do proces- 
so de implementação, por parte dos formuladores do SINAES. 

A implementação do SINAES no âmbito do sistema de ensino 
superior brasileiro foi bem-sucedida em alguns aspectos: a propos- 
ta apresentada pela Comissão Especial de Avaliação da Educação 
Superior (CEA) foi aprovada em todas as instâncias governamen- 
tais, com algumas alterações e ajustes; apesar das alterações, 
os princípios e os fundamentos da concepção de avaliação defendida 
pela CEA foram preservados; por fim, os processos de avaliação, 
componentes do SINAES (Enade, ACG e Avalies), foram regulamen- 
tados separadamente e colocados em funcionamento gradualmente. 
Apesar da insegurança que esta estratégia produz, porque em de- 
terminado momento os procedimentos novos e os procedimentos 
antigos coexistem numa fase de transição e a postura dos órgãos 
governamentais parece dúbia, a possibilidade de rejeição aos novos 
procedimentos é atenuada. Antes de cada componente do SINAES 
entrar em operação, os órgãos governamentais, responsáveis pela 
sua implementação, publicaram documentos para orientação e 
promoveram oficinas 3 para a capacitação dos pesquisadores institu- 
cionais, avaliadores e coordenadores de comissões de avaliação. Não 
obstante este esforço, dois aspectos em particular ficaram obscuros: 
como acontece a articulação entre os processos de avaliação com- 
ponentes do SINAES; e como as funções formativas e regulatórias 
se estabelecem concomitantemente. 
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A implementação do SINAES no âmbito das IES, por outro lado, 
também foi objeto de preocupação da Comissão Nacional de Avaliação 
da Educação Superior (Conaes), do Instituto Nacional de Estudos e 
Pesquisas Educacionais Anísio Teixeira (INEP) e do Ministério da 
Educação. O documento Diretrizes para a avaliação das instituições de 
educação superior (INEP, 2004b), elaborado pela Conaes para subsidiar 
0 trabalho das Comissões Próprias de Avaliação e os demais atores 
da comunidade acadêmica envolvidos com a avaliação institucional, 
apresentou, como um dos seus principais objetivos, estabelecer as 
diretrizes para implementação da avaliação institucional. Há uma 
preocupação, expressa no documento, com a organização do pro- 
cesso de avaliação, a ser empreendido pelas Comissões Próprias de 
Avaliação (a autoavaliação), de modo a permitir a comparação dos 
resultados entre as instituições componentes do Sistema Federal de 
Ensino Superior. Outra preocupação expressa no documento é com a 
preparação da avaliação externa a ser empreendida pelas Comissões 
Externas de Avaliação, definidas pelo Inep. A implementação da auto- 
avaliação nas IES deve observar alguns aspectos, muito assinalados 
nos textos sobre 0 SINAES. Um desses aspectos é a necessidade de 
envolver toda a comunidade acadêmica, de modo a garantir ampla 
participação. Além disso, a CPA deve ter sempre como princípio 
orientador do seu trabalho, a ideia de qualidade acadêmica, definida 
no documento da Conaes (INEP, 2004b) como a maior proximidade 
possível entre 0 que está posto no projeto da IES e a realidade do 
cotidiano institucional. Ou seja, aproximar o máximo possível o 
que está dito nos documentos institucionais acerca do trabalho da 
IES e aquilo que realmente acontece cotidianamente, quando a IES 
está em funcionamento. A CPA deverá construir uma proposta de 
avaliação, capaz de produzir um olhar 0 mais abrangente possível 
sobre a instituição, de modo a permitir um planejamento institucio- 
nal, com ações voltadas para a melhoria contínua da sua qualidade 
acadêmica. Para cumprir este objetivo, 0 documento sugere que 0 
processo avaliativo seja capaz de analisar os diferentes níveis da 
instituição, quais sejam: 

a) nível declaratório: analisa os textos que fundamentam o 
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projeto institucional que, em geral, está enunciado sob a for- 
ma de princípios coerentes, embora possa haver contradições 
entre os objetivos e o projeto; 

b) nível formativo: avalia a coerência entre as normas insti- 
tucionais e a gestão prática das IES; 

c) nível da organização: avalia se a instituição conta com 
instâncias que promovam a qualidade compatível com as 
modalidades de ensino, pesquisa e extensão e sua efetividade 
acadêmica e social; 

d) nível dos resultados: avalia a eficácia e efetividade aca- 
dêmica e social dos processos desenvolvidos: formação de 
profissionais, produção acadêmica, artística e cultural dis- 
seminada no âmbito técnico-científico e social, entre outros. 
(INEP, 2004b, p. 17) 

Uma vez observados esses aspectos, espera-se que a proposta de 
avaliação elaborada esteja ajustada às especificidades da instituição, 
garantindo assim, a avaliação do funcionamento real da instituição e 
evitando a avaliação baseada em padrões de qualidade e referenciais 
externos, aplicados indistintamente a qualquer tipo de instituição. 

A CPA é considerada 0 elo de ligação entre a IES e o Poder Público, 
e a sua proposta de autoavaliação estabelecerá um nexo entra a IES e 
o conjunto delas, 0 Sistema Federal de Ensino Superior. Exatamente 
por isso, a implementação do SINAES no âmbito das IES torna-se de 
fundamental importância, pois a forma como cada IES vai-se organi- 
zar para cumprir as diretrizes estabelecidas pela Conaes produzirá 
resultados muito diferentes, do ponto de vista dos objetivos e finali- 
dades da avaliação da educação superior, conforme está posto na Lei 
n° 10.861. Ademais, a implementação no âmbito das IES não permite 
0 acompanhamento e a supervisão do processo. Os procedimentos 
que ocorrem, entre 0 momento em que a IES inicia 0 processo de 
implementação do SINAES na IES até o momento em que a IES apre- 
senta 0 seu Projeto de avaliação ao Inep, ficam invisíveis. Do mesmo 
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modo, os procedimentos que ocorrem na IES durante o processo de 
autoavaliação (avaliação interna), ficam também invisíveis. 


CONCLUSÃO 


Vários são os fatores que podem interferir no processo de implemen- 
tação e produzir efeitos indesejáveis, tais como: a desconfiança em 
relação à avaliação, adoção de objetivos estritamente relacionados 
ao cumprimento das exigências dos órgãos governamentais, entendi- 
mento da avaliação como uma tarefa a ser executada com a simples 
finalidade de apresentar os pontos fortes da IES. O processo de imple- 
mentação do SINAES no âmbito das IES, portanto, é um dos pontos 
críticos do Sistema Nacional de Avaliação da Educação Superior. 

A implementação da avaliação no âmbito das IES passaria por 
três etapas: 

a) a etapa da preparação da avaliação (constituição da CPA, sen- 
sibilização, elaboração do projeto de avaliação); 

b) a etapa de desenvolvimento da avaliação (ações desenvolvidas 
pela IES, levantamento de dados, análise dos dados); 

c) a etapa da consolidação da avaliação (relatório, divulgação e 
balanço crítico - meta-avaliação). 


Considerando essas etapas, o ponto de partida da implementação 
do SINAES no âmbito das IES foi a criação da Comissão Própria de 
Avaliação. As CPA teriam que ser cadastradas no Inep até 6o dias após 
a publicação da Lei n °io.86i, ou seja, 14 de julho de 2004. Almeida 
Júnior (2005b) examinou os dados do cadastro das CPA junto ao 
INEP, identificando 1.831 Comissões Próprias de Avaliação cadas- 
tradas até 0 fim de dezembro de 2004. Este número corresponde 
a 84% das Instituições componentes do sistema de ensino superior 
brasileiro. Das instituições que não haviam cadastrado a sua CPA 
até aquele momento, 16% do total, algumas delas eram instituições 
novas (recém-credenciadas), que não tinham como atender a este 
requisito, bem como as IES pertencentes ao Sistema Estadual, que 
não participavam do SINAES 4 . Como 0 número de IES vinculadas 


4 A Lei n° 10.861, de 
14 de abril de 2004, e 
a Portaria n° 2.051, de 
9 de julho de 2004, 
institui e regulamenta, 
respectivamente, o 
SINAES nas IES 
integrantes do Sistema 
Federal de Ensino 
Superior. Todavia, houve 
empenho dos órgãos da 
Administração Federal em 
estender a ação do SINAES 
para as IES vinculadas ao 
sistema estadual, através 
de acordo de cooperação. 
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5 Dados de acordo com 
o Censo da educação 
superior 2003 e 2004. 
(INEP, 2003, 2004) 


6 Denominação 
vigente à época. Hoje a 
denominação ‘Faculdades’ 
inclui as Faculdades 
Isoladas, as Faculdades 
Integradas e os Institutos 
de Educação Superior. 


ao Sistema Estadual de Educação corresponde a 6,8% do total de IES 
brasileiras, e o crescimento do número total de IES entre os anos de 
2003 e 2004 foi da ordem de 18% (1.856 para 2.013 instituições 5 ), pode- 
se concluir que, praticamente, todas as IES criaram e cadastraram 
suas Comissões Próprias de Avaliação. Este dado é confirmado por 
Trindade (2007), que anuncia um índice de adesão “[...] superior a 
90% entre as instituições públicas e privadas vinculadas ao MEC e 
de 6 % entre as estaduais dependentes do CEE, que se cadastraram 
voluntariamente [...]”. (TRINDADE, 2007, p. 38) 

Almeida Júnior (2005b) traça ainda um perfil dos coordenadores 
de CPA e destaca algumas características importantes acerca da cons- 
tituição dessas comissões: 90% dos coordenadores cadastrados são 
de IES particulares e apenas 10% de IES públicas; 82% pertencem a 
Faculdades e Institutos de Educação Superior 6 e apenas 7% corresponde 
a universidades; dos 1.832 coordenadores de CPA, 62,3% são docentes, 
porém existem coordenadores técnico-administrativos, discentes e até 
membros da sociedade civil; e 69% das CPA foram instituídas através 
de portaria expedidas pelo dirigente máximo da IES. 

Outros dados importantes acerca do processo de implementa- 
ção do SINAES nas IES podem ser verificados através dos eventos 
realizados pelo MEC, Inep e Conaes, com 0 objetivo de orientar e 
apoiar 0 trabalho dos coordenadores de CPA. Os primeiros eventos - 
‘Seminários de Capacitação de Coordenadores das Comissões Próprias 
de Avaliação’, - foram realizados em 2004 e reuniram coordenadores 
de CPA em função da região geográfica onde suas respectivas IES 
estavam sediadas: Regiões Norte, Nordeste e Centro-Oeste, realizado 
na cidade de Brasília; Região Sudeste (exceto 0 Estado de São Paulo), 
realizado na Cidade de Belo Horizonte; Região Sudeste (somente 
Estado de São Paulo), realizado na Cidade de São Paulo e 0 último, 
para a Região Sul, realizado na Cidade de Florianópolis. Participaram 
desses seminários cerca de 1.600 coordenadores de CPA. (TRINDADE, 
2007) Os coordenadores participantes dos seminários levantaram 
uma série de dúvidas, dificuldades, e manifestaram receios sobre 
alguns aspectos da avaliação. (ALMEIDA JÚNIOR, 2005b) 

Exatamente por conta da insegurança dos coordenadores de CPA, 
vários eventos foram promovidos neste período por empresas de 


78 JORGE LUIZ LORDÊLO DE SALES RIBEIRO 


consultoria educacional, visando subsidiar o trabalho dessas comis- 
sões. No entanto, a partir de 2006, principalmente após a divulgação 
do instrumento que seria usado para a avaliação externa, 0 número 
de eventos promovidos pelas empresas de consultoria educacional 
praticamente chegou a zero. Havia uma clara percepção de que os 
documentos e a própria legislação eram suficientes para garantir 
a fase inicial de implementação do SINAES no âmbito das IES. Por 
outro lado, havia a descrença sobre a capacidade de utilização dos 
resultados da avaliação, para que eles produzissem os efeitos espera- 
dos de elevação da qualidade das IES, e, em consequência, do sistema 
de ensino superior como um todo. Ou seja, a descrença de que 0 
processo de autoavaliação institucional pudesse ser institucionali- 
zado, e pudesse ser mais do que 0 cumprimento de uma exigência 
dos órgãos reguladores. Este ponto de vista manifestado por uma 
grande parte dos coordenadores de CPA. De fato, este aspecto, apesar 
de muito importante para 0 pleno funcionamento da política de 
avaliação, não foi devidamente observado, embora seja uma das 
etapas do processo de implementação, descrita nas Diretrizes para 
avaliação das instituições de educação superior. (INEP, 2004b, p. 23) 

A organização do processo de auto-avaliação prevê a ocorrên- 
cia de três diferentes etapas: preparação, desenvolvimento e 
consolidação da avaliação. Ao longo deste processo, que tem 
ritmos institucionais distintos, a Conaes e o Inep também 
promoverão uma interação periódica com as instituições 
que, além de possibilitar comunicação e diálogo, permitam 
eventuais correções de rumos. 


O reconhecimento da importância da institucionalização, ou 
consolidação da avaliação, e a intenção de supervisioná-la foram 
anunciados. Todavia, não foi previsto nenhum dispositivo de acom- 
panhamento da institucionalização da avaliação institucional nas 
IES. O único elemento que talvez pudesse lançar alguma luz sobre 
este aspecto seria 0 “balanço crítico” da avaliação (meta-avaliação), 
fase prevista na última das três etapas da autoavaliação mencionadas 
anteriormente, e assim descrita no mesmo documento: 
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0 processo de auto-avaliação proporciona o autoconhecimento, 
que em si já representa grande valor para a IES e se caracteriza 
como um balizador da avaliação externa, prevista no SINAES. 
Como finalização de cada fase da avaliação, a reflexão sobre 
processo é necessária, visando a sua continuidade. Assim, 
uma análise das estratégias utilizadas, das dificuldades e dos 
avanços que se apresentaram durante o processo, permitirá 
planejar ações futuras. (INEP, 2004b, p. 27) 


Contudo, os órgãos governamentais mostraram-se incapazes de 
acompanhar o processo de implementação da avaliação nas IES. 
O tamanho e a complexidade do sistema de educação superior bra- 
sileiro parece ter sido mal dimensionado na proposta original, bem 
como na legislação que regulamentou 0 SINAES. As IES enviaram 
os seus projetos de avaliação institucional ao INEP, que os avaliou 
e devolveu às instituições um parecer conclusivo sobre 0 projeto 
e indicando eventuais correções a serem feitas. Posteriormente, as 
IES enviaram os relatórios da primeira avaliação interna realizada. 
A partir daí, as avabações internas subsequentes até 0 fechamento do 
ciclo avabativo, os prazos e orientações dos órgãos governamentais 
ficaram confusos. A definição do ciclo avabativo, os prazos para re- 
querimento da avaliação externa, prorrogação destes prazos, foram 
tratados por várias Portarias do MEC e do INEP. Entre 2006 e 2008, 
0 MEC implantou um novo sistema eletrônico de gerenciamento de 
processos - E-mec, e instituiu 0 índice Geral de Cursos (IGC), que con- 
solida as informações sobre os cursos superiores obtidas através dos 
cadastros, censos e avabações realizadas pelo INEP e Capes. É possível 
que a introdução destas novas ferramentas e procedimentos (0 IGC, 
0 sistema E-mec, 0 conceito preliminar, etc), que alteraram os pro- 
cedimentos relativos à avaliação e supervisão da educação superior, 
facilitem em muito a tarefa de acompanhamento e supervisão por 
parte dos órgãos governamentais. Além disso, a dispensa da avabação 
in loco, nos casos em que os cursos avaliados obtiverem conceitos 
satisfatórios, racionaliza o processo de supervisão e minimiza as 
dificuldades inerentes ao tamanho do sistema federal de educação 
superior, por causa da redução do número de visitas in loco. 
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Será necessário um tempo para avaliar o efeito desta nova sis- 
temática sobre o comportamento das IES. Atualmente, até onde 
foi possível observar, a implementação da avaliação no âmbito das 
IES obedeça à lógica da prudência, fazendo com que as IES adotem 
uma postura defensiva, “ritualizando” a avaliação e tentando ga- 
rantir uma avaliação positiva do seu trabalho, por parte dos órgãos 
reguladores. Todavia, mesmo “ritualizando” o processo de avaliação, 
as orientações, diretrizes e a própria legislação obrigaram as IES 
(especialmente aquelas de pequeno porte), a refletirem sobre os 
trabalhos que realizam, a valorizarem o planejamento e incenti- 
varam as IES a adotarem um modelo de gestão fundamentado nos 
resultados. Neste caso, a avaliação institucional vale mais pelo efeito 
que causa nas IES e menos pelos resultados que produz, exatamente 
como fazem as políticas. 
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participação, conhecimento 
e decisão: a CPA da UFBA 
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Márcia Pontes (UFBA) 


INTRODUÇÃO 

O título deste capítulo contém propositadamente cinco conceitos que 
estão sempre presentes e entrelaçados nas reflexões e na experiência 
concreta de todos os envolvidos com a tomada de decisões que impli- 
cam em consequências para a vida dos indivíduos e das instituições. 
Ao longo do texto será feita uma tentativa de análise desses elemen- 
tos e da conexão dos mesmos com o desenvolvimento das ações de 
avaliação da Comissão Própria de Avaliação (CPA) da UFBA. 

O poder e a sua distribuição entre os indivíduos ou entre os diver- 
sos segmentos das sociedades organizadas sempre se constituíram 
questões cruciais para a humanidade, e estão na origem dos grandes 
conflitos e transformações ao longo da história. 

Partindo-se do conceito de poder como a possibilidade de tomar 
decisões e fazer com que essas decisões sejam implementadas, o Estado é a sua 
instância mais representativa na medida em que se sobrepõe a todas 
as demais manifestações de poder disseminadas na sociedade, sejam 
elas coletivas ou individuais, estando historicamente associado ao 
uso da força e a impossibilidade de se evitar a sua ação coercitiva. 
Nas sociedades antigas e do ocidente medieval as religiões contribu- 
íram fortemente para conferir legitimidade ao exercício do poder 
político, associando divindades a governantes, obtendo assim uma 


obediência consentida por parte dos que são submetidos ao Estado 
e reduzindo, desse modo, a necessidade do uso da força. 

É na Grécia Antiga, no século V a.C., que surge a ideia de de- 
mocracia, ou seja, de uma forma de governo que representaria a 
vontade geral dos cidadãos, transformando-se numa prática política 
inovadora e identificada com os ideais gregos de justiça e virtude. 
Em função da dimensão da população e da natureza altamente res- 
tritiva dos cidadãos com direito à participação nas decisões da polis, 
foi possível, nessa época, a prática da democracia direta. 

Na Grécia surgem também as primeiras reflexões sobre a or- 
ganização do poder político e o questionamento de critérios de 
escolha de quem poderá exercê-lo. Platão (2007) em A república pre- 
coniza uma sociedade ideal governada por filósofos, ou seja, pelos 
detentores do maior saber, subvertendo os critérios e mecanismos 
tradicionais de ascensão ao poder, como a linhagem de sangue e 
as conquistas militares. 

[...] donde fui forçado a dizer que a raça humana não verá 
melhores dias até o dia em que aqueles que seguem honesta 
e sinceramente a filosofia adquiram autoridade política ou 
que aqueles que detêm o mando político sejam levados, por 
obra e graça da Providência, a se tornar verdadeiros filósofos. 
(PLATÃO, 2007, p. 170) 

Com 0 advento das ideias liberais na Europa, a partir do século 
XVII, a democracia representativa passa a ser defendida como a única 
modalidade de governo compatível com o ideário político iluminista. 
Pensadores como Locke, Rousseau, Voltaire, Montesquieu, Tocque- 
ville, John Stuart Mill, Thoreau, Paine, e muitos outros, produziram 
uma extensa literatura sobre 0 tema, que parece inesgotável, pois 
tem tido continuidade até os dias atuais. O filósofo e cientista político 
Norberto Bobbio, no seu Dicionário de política menciona dois aspectos 
definidores da democracia representativa: 

[...] o significado deste fenômeno se manifesta melhor se 
observarmos como o regime político representativo se coloca 
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em oposição, por um lado, com os regimes absolutistas e 
autocráticos, desvinculados do controle político dos súditos 
e, por outro, com a democracia direta, ou seja, com o regime 
no qual, em teoria, deveria desaparecer a distinção entre go- 
vernantes e governados. 0 sentido da representação política 
está, portanto, na possibilidade de controlar o poder político, 
atribuída a quem não pode exercer pessoalmente o poder. 
(BOBBIO, et. al„ 1995, p. 345) 


Antes mesmo que as democracias representativas se consolidassem 
na Europa como forma de governo, pensadores socialistas e anarquis- 
tas do século XIX denunciavam a inviabilidade de uma organização 
política e social democrática e igualitária num contexto econômico 
capitalista, baseado na propriedade privada e na exploração dos 
trabalhadores pelas classes detentoras dos meios de produção. 

A trajetória da democracia, ao longo do século XX, seja no discur- 
so político, seja nas vicissitudes da sua prática, não tem sido nada li- 
near. As experiências políticas do século passado, de implantação do 
socialismo em diversas nações (as democracias populares) também 
adotaram modelos representativos de governo. O mundo chegou 
ao século XXI praticando de forma generalizada 0 modelo formal 
de democracia representativa (parlamento, eleições, independência 
entre os poderes) embora nem sempre isso signifique a adoção 
da democracia como um ideal político de garantias de liberdade, 
respeito dos direitos individuais ou, sobretudo, participação efetiva 
na riqueza socialmente produzida, no acesso à educação, à cultura 
e às benesses da ciência e da tecnologia, sendo consensual a exis- 
tência de uma profunda crise dessa forma de organização política 
no mundo contemporâneo. 

Embora a ideia de representação tenha se disseminado em todos 
os níveis decisórios das sociedades organizadas, os representantes 
já não conseguem mais identificar e atender todas as demandas da 
sociedade, primeiro porque a globalização e a economia mundial 
enfraqueceram 0 poder dos Estados, segundo porque a sociedade 
tem cada vez mais se organizado em torno de infinitas questões, e 
essas organizações têm cobrado de maneira mais efetiva dos gover- 
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nos e seus representantes. As exigências vêm se tornando cada vez 
mais complexas, e parece clara a necessidade de garantir a uma 
maior interatividade entre o governo e a sociedade, ou seja, entre 
representantes e representados. 

O conceito de democracia sofre hoje uma nova guinada em sua 
dinâmica trajetória. A democracia direta permanece inviável mas o 
sistema representativo já não responde aos anseios da sociedade, e, 
como resultado, começou a se fortalecer nos últimos anos o conceito 
de democracia participativa que, sem desconsiderar os representantes, 
busca uma maior aproximação da sociedade com a arena decisória. 
De acordo com alguns teóricos, a democracia participativa passa a 
configurar-se como um continuum entre a forma direta e a represen- 
tativa. O objetivo é fazer com que, juntos, os cidadãos reivindiquem 
espaço e avancem em suas conquistas, cabendo ao Estado oferecer 
ferramentas que catalizem essas demandas, afastando-se da clássica 
relação vertical de poder. 

Embora a construção da União Europeia seja qualificada por al- 
guns críticos como uma empreitada tecnocrática, desde os primeiros 
movimentos no sentido da sua criação, os seus fundadores impri- 
miram um caráter essencialmente democrático à sua concepção e 
implementação. 

O Tratado de Lisboa, que substituiu a Constituição Europeia a partir 
de 2008, e foi assinado por 27 Estados-Membros, buscou prover a 
União Europeia de instituições modernas e a otimização de métodos 
de trabalho de modo a enfrentar os desafios do mundo atual com 
eficiência e efetividade. Esse Tratado reforça a ideia de democracia 
participativa em defesa dos interesses dos seus cidadãos com base 
nas ações do cotidiano. No seu texto foram introduzidos dispositivos 
para garantir 0 exercício da democracia participativa. Dentre eles: 

a) Baseado no princípio da igualdade democrática, todos os ci- 
dadãos devem receber igual atenção das instituições da União 
Europeia. 

b) Cidadãos e associações representativas devem ter a oportu- 
nidade de divulgar e discutir publicamente os seus pontos 
de vista. 

c) O Estado manterá diálogo aberto, transparente e regular com 
a sociedade civil e associações representativas. 
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d) Serão feitas amplas consultas à população pelos partidos 
políticos. 

e) Propostas oriundas de iniciativas populares, com o mínimo 
de um milhão de assinaturas, serão submetidas à apreciação 
do legislativo. 

Um dos aspectos mais polêmicos dessa expectativa contemporâ- 
nea de uma maior participação dos cidadãos nas decisões de interesse 
coletivo, é a dicotomia entre o crescente conhecimento produzido 
pela ciência e tecnologia e o poder político de decisão conferido 
aos representantes dos segmentos sociais interessados que, com 
frequência, seguem direções divergentes. A taxa básica de juros 
definida, a cada mês, pelo Comitê de Política Econômica do Banco 
Central do Brasil, o consumo de alimentos transgênicos, a utiliza- 
ção de células embrionárias em pesquisa médica, são exemplos, 
dentre muitos outros, bastante atuais de decisões que ultrapassam 
o conhecimento técnico-científico, envolvendo dimensões éticas, 
políticas e pragmáticas. 

Quatro séculos depois do seu surgimento, a ciência moderna 
tornou-se avassaladora em todas as dimensões da vida pública ou 
privada, individual ou coletiva. Vivemos cercados de máquinas, dis- 
positivos, objetos, ferramentas, substâncias, materiais, procedimen- 
tos, formas de organização, enfim de inúmeras coisas resultantes do 
avanço do conhecimento científico que contribuem para aumentar 
a produtividade do trabalho, acumular riquezas, curar doenças, 
prolongar a vida e a juventude, encurtar as distâncias, facilitar e in- 
tensificar a comunicação, diversificar o lazer, proporcionar conforto 
físico e psíquico, embelezar os corpos, realizar tarefas penosas ou 
repetitivas, realizar processos de memória e raciocínio, potencializar 
a percepção sensorial, criar realidades virtuais, degradar a natureza, 
reduzir a privacidade, eliminar postos de trabalho, exterminar vidas 
em massa, enfim, para o bem ou para o mal, não se pode escapar 
da tecnociência. 

Qualquer tentativa de privilegiar uma dessas abordagens em detri- 
mento da outra resultaria em impasse. A defesa do primado do políti- 
co sobre o técnico-científico implicaria em retrocesso, em opção pelo 


PODER, REPRESENTAÇÃO, PARTICIPAÇÃO, CONHECIMENTO E DECISÃO: A CPA DA UFBA 89 


obscurantismo, enquanto o seu oposto nos remeteria à hegemonia 
do que os filósofos frankfurtianos denominaram ‘razão instrumental’ 
na sua fundamentada crítica à sociedade contemporânea. 

Embora a expressão “razão instrumental” tenha sido cunhada 
por Horkheimer e Adorno (1985) na Dialética do esclarecimento, Jurgen 
Habermas desenvolveu, posteriormente, uma análise acurada das 
relações entre sociedade, cultura, ciência, tecnologia, ética e política 
no contexto do capitalismo do século XX. Habermas explica a gênese 
da sociedade moderna em termos de categorias básicas derivadas de 
estudos filosóficos sobre a linguagem e a racionalidade. Essa análise 
revela que os processos de racionalização, característicos da moder- 
nidade, têm privilegiado a racionalidade instrumental, ao selecionar os 
meios mais eficazes para alcançar os fins, às expensas da racionalidade 
comunicativa que levaria a uma compreensão compartilhada dos fins, 
com base em razões que poderiam ser aceitas numa discussão livre. 

O ponto central do discurso de Habermas sobre a modernidade é 
a introdução de imperativos científicos e tecnológicos no domínio 
da política, fato que suscita questões teóricas e práticas acerca das 
relações apropriadas entre ciência e política. No modelo decisionista 
weberiano, há uma separação estrita ente o político e o especia- 
lista: 0 primeiro toma decisões (irracionais) com base em valores, 
enquanto o último decide com base no conhecimento científico. 
Os tecnocratas, por outro lado, percebem 0 campo político limitado 
por exigências de preservação da estabilidade do sistema, enquanto 
os especialistas apresentariam alternativas de políticas necessárias 
para implementação de objetivos, como 0 crescimento econômico, 
que teriam origem em necessidades objetivas. 

Para Habermas, necessidades devem ser interpretadas à luz de 
valores e significados culturais antes que possam guiar as ações, daí 
ele preferir 0 modelo pragmatista de Dewey, no qual meios e fins 
são interdependentes. Por um lado, 0 horizonte de valores numa 
sociedade deve guiar a pesquisa científica, e por outro lado, valores 
só persistem na medida em que estão conectados a uma satisfação 
potencial, através da ação instrumental. 

Por consequência, a tecnologia não pode ser axiologicamente 
neutra. Realizações científicas relevantes na prática devem ser sub- 
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metidas a discussões públicas de modo a tornar possível uma dia- 
lética da vontade iluminada e da autoconsciência potencial, ambas 
permitindo modificar o autoentendimento por parte do público e 
que esse autoentendimento determine a direção das futuras pes- 
quisas. Essa força não coercitiva do melhor argumento produzirá 
decisões políticas racionais. 

Segundo Habermas, essa domesticação do desenvolvimento tec- 
nológico será impossível se a tecnologia implicar em ideologia no 
sentido marxista do conceito, ou seja, de falsa consciência a serviço da 
dominação de classe. O progresso da ciência no capitalismo substituiu 
a legitimação ideológica antes promovida pela religião e pela tradição. 
Onde, então, buscar a normatização que irá se contrapor às formas 
de dominação social que legitimam as desigualdades com um apelo 
às demandas científicas e econômicas e manipulam o público através 
dos meios de comunicação e de um lento, mas estável, aumento do 
conforto material viabilizado pelo desenvolvimento tecnológico? 

A concepção de Habermas de razão comunicativa fundamenta-se 
em dois interesses cognitivos, mais pertinentes à esfera da inte- 
ração do que à do trabalho. Como seres sociais, cujas identidades 
dependem de reconhecimento mútuo na interação linguística, as 
pessoas têm um interesse prático em resolver problemas de comuni- 
cação e compreensão no âmbito das tradições culturais. O interesse 
emancipatório consistiria em se contrapor aos efeitos da comunica- 
ção sistematicamente distorcida, através da psicanálise no nível 
individual, e no nível social, pela crítica da ideologia que revela os 
interesses econômicos, sociais e políticos em que estão imersas as 
tradições humanas. 

O aspecto ideológico da visão positivista de ciência e tecnologia 
consiste em estabelecer um conflito entre o prático e o técnico 
obscurecendo, assim, a possibilidade de racionalização entre essas 
duas dimensões. O problema não está no pensamento instrumental, 
mas na sua universalização. 

Em suma, a contribuição fundamental de Habermas a uma ética 
da ciência e da tecnologia é a sua teoria da racionalidade inter- 
subjetiva. Essa racionalidade não reduz a eficiência instrumental 
e permite ser utilizada no estabelecimento de objetivos e limites 
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não arbitrários ao desenvolvimento técnico, se implementada em 
instituições verdadeiramente democráticas. 


DOIS ESTUDOS EMPÍRICOS 

Bozeman e Pandey (2003) realizaram um estudo empírico sobre os 
conteúdos político e técnico de decisões em organizações públicas 
norte-americanas e suas implicações de ordem prático-operacional, 
buscando estabelecer correlações entre 0 conteúdo da decisão (polí- 
tico ou técnico) e 14 variáveis agrupadas por natureza, tais como, cri- 
tério, tempo, participantes e qualidade de informação/burocracia. 


Decisão / 

Tipo de Conteúdo 

Critério de Decisão 

Tempo de Decisão 

Participantes da Decisão 

Qualidade de 
Informação e 
Burocracia 


Custo-benefício + 

1. Tempo necessário 

1. Total de participantes + 

1. Qualidade de 


Viabilidade técnica - 

à decisão - 

2. Participantes internos + 

informação - 

Político 

Equidade + 

2. Permanência - 

3. Participantes externos + 

2. Burocracia - 

Utilidade - 

3. Estabilidade - 

4. Interrupções - 

4. Participantes externos 
como % do total de 
empregados + 



1. Custo-benefício + 

1. Tempo necessário 

1. Total de participantes - 

1. Qualidade de 


2. Viabilidade 

à decisão + 

2. Participantes internos - 

informação + 


técnica + 

2. Permanência n/s 

3. Participantes 

2. Burocracia + 

Técnico 

3. Equidade n/s 

4. Utilidade + 

3. Estabilidade + 

4. Interrupções + 

externos n/s 

4. Participantes externos 
como % do total de 
empregados - 



Quadro 1 - Correlações encontradas 

Legenda: (+) positivamente relacionada com o conteúdo da decisão 
(-) negativamente relacionada com o conteúdo da decisão 
(n/s) relação não-significante 


Uma das mais importantes conclusões do estudo é que o conte- 
údo político ou técnico faz efetivamente diferença, exceto no que 
concerne às variáveis de participação. As variáveis mais afetadas 
pelo tipo de conteúdo são as relativas ao tempo. 
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Dorothy Nelkin (1975), cientista social norte-americana, que 
coordenou um importante estudo intitulado 0 impacto político do 
conhecimento técnico, lista seis proposições relacionadas com essa 
clássica e conflituosa relação entre a dimensão política e técnica, 
que merecem ser transcritas pela sua atualidade. 

1. Os responsáveis pelas políticas públicas sempre buscam le- 
gitimar sua autonomia invocando o conhecimento técnico- 
científico. 

2. O conhecimento técnico-científico tanto pode ser um fator 
de clarificar as questões relativas à tomada de decisão, como 
também podem contribuir para aumentar os conflitos. 

3. O grau de aceitação do conhecimento especializado depende 
menos da sua validade e da competência pessoal dos envolvi- 
dos do que da possibilidade que ela tem de reforçar posições 
previamente defendidas. 

4. Os opositores de uma decisão de base técnico-científica não 
precisam demonstrar essa discordância utilizando 0 mesmo 
grau de competência sobre 0 assunto. 

5. Conflitos entre especialistas reduzem 0 seu impacto político. 

6. O peso do conhecimento especializado independe de se 
tratar de uma área científica “dura” ou humana e social do 
conhecimento. 


A AVALIAÇÃO NA EDUCAÇÃO SUPERIOR NO BRASIL 

O Programa de Avaliação Institucional das Universidades Brasileiras 
(PAIUB) foi a primeira iniciativa oficial e sistematizada de avaliação da 
educação superior no País. Surgiu da proposição de um grupo de pes- 
quisadores (grande parte deles com reconhecida experiência de gestão 
universitária) ao MEC, que o institucionalizou em 1993. A proposta 
do PAIUB sustentava-se em alguns princípios fundamentais entre os 
quais, 0 da adesão voluntária das universidades, e previa a autoava- 
liação como etapa inicial do processo, que em seguida se estenderia 
a todas as dimensões da instituição, completando-se com a avaliação 
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i A entrevistada compôs 
a Comissão de elaboração 
da proposta do SINAES. 


externa. É importante destacar a grande contribuição do PAIUB na 
consolidação de uma cultura institucional de avaliação, pois mesmo 
tendo vida curta promoveu mudanças institucionais, recebeu a adesão 
das instituições de ensino superior, transformando-se em modelo de 
avaliação institucional (interno às mesmas) até hoje adotado seus 
princípios básicos em muitas delas. O seu caráter de adesão voluntária, 
bem menos que a sua concepção técnica ou política, podem explicar 
a implementação limitada e o insucesso dessa iniciativa. 

O Exame Nacional de Cursos (ENC), instituído em 1996, com 
caráter obrigatório, representou uma concepção bastante diferen- 
ciada de avaliação, em relação ao PAIUB. A ênfase do ENC recaía 
sobre os resultados e não sobre 0 processo e reflete um contexto 
político (governo FHC) fortemente marcado pela concepção polí- 
tica neoliberal cujo foco é a busca da eficiência e da eficácia dos 
resultados, estabelecendo um ranqueamento das IES. Esse modelo 
de avaliação sofreu duras críticas de natureza política, nos meios 
acadêmicos e boicotes generalizados de estudantes nas instituições 
públicas, até ser substituído, em 2004, pelo atual Sistema de Avalia- 
ção da Educação Superior (SINAES), que é uma nova concepção de 
avaliação da educação superior calcada em outra lógica, integrante 
de um conjunto de políticas públicas, voltadas para a expansão do 
sistema, pela democratização do acesso, de forma que a qualificação 
do mesmo se integre a um processo mais amplo de revalorização 
da educação superior. 

Segundo Maria José Jackson 1 (2004), 

[...] o SINAES contextualiza a educação superior ao mundo 
atual em que entre as finalidades da construção do saber se 
insere a intervenção social no sentido de reduzir as assime- 
trias sociais, propiciando condições para a construção de 
novas pontes de inclusão social. Portanto, o SINAES amplia 
suas dimensões, objetos, procedimentos, integrando os vários 
instrumentos de avaliação. Como tal, incorpora aos processos 
avaliativos todos os atores sociais, as dimensões sociais e 
todas as instâncias da educação superior. Busca assegurar, as 
dimensões externas e internas, particular e global, somativo 
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e formativo e os diversos objetos e objetivos da avaliação, 
constituindo-se num Sistema e não mais de procedimentos 
isolados de avaliação. 


A COMPOSIÇÃO DA COMISSÃO PRÓPRIA DE 
AVALIAÇÃO (CPA), SEGUNDO O SINAES 

A Lei n° 10.861, de 14 de abril de 2004, que SINAES, estabelece, em 
seu Artigo 11, que cada instituição de ensino superior, pública ou 
privada, deve constituir sua Comissão Própria de Avaliação (CPA), 
com as “atribuições de condução dos processos de avaliação internos 
da instituição, de sistematização e de prestação das informações 
solicitadas pelo INEP”. Segundo a lei, a CPA deve ser constituída “[...] 
por ato do dirigente máximo da IES ou por previsão de seu próprio 
estatuto ou regimento, assegurada a participação de todos os seg- 
mentos da comunidade universitária e da sociedade civil organizada, 
e vedada a composição que privilegie a maioria absoluta de um dos 
segmentos da comissão”. 

A lei não exige especificamente que a comissão seja constituída 
por representantes eleitos pelos segmentos da comunidade universi- 
tária, mas por ato de sua autoridade máxima, de modo a ter assegu- 
rada a participação de todos os segmentos, o que pode ser alcançado 
pela nomeação ou indicação de um membro de cada segmento. No 
caso das instituições universitárias, docentes, servidores técnico- 
administrativos e discentes possuem entidades representativas, com 
direções democraticamente eleitas e, portanto, com legitimidade 
para indicar seus representantes nas comissões. Teoricamente, as 
entidades podem realizar consultas ou eleição de seus representan- 
tes para indicá-los ao dirigente máximo. No caso do representante 
da sociedade civil, a indicação torna-se mais polêmica. Quem tem 
delegação para representá-la? 

A legitimidade política não confere competência técnica para 0 
exercício da avaliação; tampouco, a legitimidade técnica, conferida 
por alto grau de especialização, produção acadêmica e reconheci- 
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mento técnico, não conferem legitimidade política. Qual seria o 
perfil mais adequado para uma CPA? 

A condução do processo de autoavaliação de uma instituição de 
ensino superior e, particularmente, das universidades, é uma tarefa 
das mais complexas. Por um lado, o avaliador que compõe uma 
Comissão de Autoavaliação universitária precisa dialogar com seg- 
mentos da comunidade acadêmica para sensibilizá-la e estimular a 
participação democrática, conferindo maior legitimidade às decisões 
e aos processos de mudança, indicados nos relatórios. Neste sentido, 
a escolha de lideranças políticas e sindicais pelo dirigente máximo 
da instituição superior, ou a indicação pelas entidades representa- 
tivas dos segmentos, de membros para compor a comissão torna-se 
um requisito importante para a legitimação do processo avaliativo. 
Por outro lado, a avaliação educacional se constitui num campo de 
conhecimento particular, com seu referencial teórico, perspectivas 
metodológicas diversas e de um aparato instrumental, que requer com- 
petência para sua concepção, construção, validação, aplicação, análise e 
interpretação. Isso exige dos avaliadores uma formação específica, além 
de dedicação e meios para o desenvolvimento do processo avaliativo. 


LEGITIMIDADE POLÍTICA E 
LEGITIMIDADE TÉCNICA 

A preocupação com a autonomia frente aos conselhos superiores e 
demais órgãos universitários assim como o equilíbrio da composição 
entre os segmentos revelam um viés político. Contudo, os desafios 
que uma comissão de avaliação institucional, particularmente, de 
uma universidade terão pela frente, não serão superados apenas 
com requisitos políticos. 

A não exigência da lei e de seus formuladores de um perfil acadê- 
mico especializado, de uma formação acadêmica trilhada no campo 
da avaliação educacional para os membros da comissão, revela uma 
percepção de irrelevância da legitimidade técnica. É como se as 
competências para o exercício teórico, metodológico e prático da 
avaliação institucional fossem automaticamente adquiridas como 
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consequência ou benefícios de uma formação ou militância políti- 
cas. Como garantir uma escolha adequada de representantes para 
um estudo que reflita verdadeiramente a imagem institucional e 
a responsabilidade social da universidade, sem que esses possuam 
uma formação especializada? Como assegurar a qualidade e a vali- 
dade dos instrumentos de medida adotados sem o domínio destas 
competências, seja no plano teórico ou metodológico? 

Almeida Junior (2005) traçou um perfil das comissões próprias 
de avaliação e suas preocupações centrais, a partir do cadastro do 
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Tei- 
xeira (INEP), de documentos impressos, observações e questionários 
aplicados em seminários regionais promovidos pelo Instituto. Entre 
as principais preocupações das IES públicas está a falta de recursos 
financeiros para viabilizar a avaliação institucional. 

Já Andriola (2005) coloca como grandes desafios dos autoava- 
liadores a sensibilização da comunidade interna e o incentivo ao 
engajamento democrático dos atores institucionais. Para ele, os 
atores devem ser consultados sobre a escolha dos membros para 
que estes tenham a legitimidade necessária, sem a qual a avaliação 
deixará de caracterizar-se como atividade democrática e partici- 
pativa. Mas 0 autor percebe que, além da legitimidade política, os 
autoavaliadores precisam de uma sólida formação humanística e 
técnica em avaliação educacional. 

Encontrar docentes, funcionários e estudantes reunindo tantas e 
diversas qualidades como legitimidade política, habilidades sociais 
e competência técnica talvez não seja uma operação bem-sucedida 
e a instituição tenha que fazer escolhas entre um ou outro atributo. 
Entre 0 segmento estudantil, o ensino de pós-graduação em educa- 
ção, psicologia e administração poderiam ser campos com maiores 
possibilidades de sucesso. 

Se a legitimidade política é importante, também 0 é a legitimidade 
técnica. Sem 0 reconhecimento das competências técnicas no avalia- 
dor, sobretudo em comunidades científicas, 0 produto da avaliação 
será pouco confiável e socialmente inócuo. Segmentos importantes 
e formadores de opinião da comunidade se manterão indiferentes ou 
reagirão à autoavaliação, porque perceberão facilmente limitações 
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decorrentes da falta de rigor científico, da imprecisão conceituai, 
do questionamento da validade dos processos qualitativos de coleta, 
análise e interpretação de informações, de problemas de falta de 
representatividade, de enviesamentos amostrais, etc. Supor que basta 
a alguém possuir a capacidade de dialogar ou a disposição para uma 
escuta sensível para a realização de um processo investigativo tão 
complexo técnica e politicamente é uma posição tão equivocada 
quanto aquela que defende como critério preponderante para o 
avaliador, uma sólida formação tecnicista ou quantitativista. 

A ideia de que as formas, as posturas e os sentidos da participação 
variam de acordo com o paradigma de avaliação adotado, sugere 
algum grau de maniqueísmo, porque parte de uma premissa ques- 
tionável, qual seja, a de que só processos conduzidos heurística e 
qualitativamente podem ser construções coletivas, que nas aborda- 
gens quantitativistas só cabem a burocracia governamental e espe- 
cialistas especialmente contratados. Esse menosprezo pela técnica 
tem custado caro em outros campos. Muitas lideranças sindicais 
de trabalhadores rurais foram promovidas a gestores de projetos 
microeconômicos, dadas as suas habilidades sociais e competências 
para ler e interpretar o mundo, analisar a conjuntura, mobilizar e 
liderar a luta para conquistar a terra. Ao transpor valores, atitudes 
e práticas da luta política para a gestão dos negócios, os empreendi- 
mentos fracassam, ao tempo que o movimento social perde fôlego 
e desgasta a imagem de uma liderança competente que precisa 
reconstruir sua imagem. 

Do mesmo modo que ninguém se torna um bom gestor por ser 
honesto ou por sonhar e lutar por ideais de justiça e de liberdade, 
ninguém se torna um bom avaliador somente porque conhece as 
implicações éticas e políticas do processo avaliativo. 


CPA DELIBERATIVA OU EXECUTIVA? 

A lei que institui o SINAES não determina a sua natureza deliberativa 
ou executiva. No caso específico da Universidade Federal da Bahia, 
a comissão assumiu as duas funções. A CPA/UFBA não contou com 
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representante estudantil nem da associação docente; os estudantes 
por terem uma posição de repúdio às políticas de avaliação insti- 
tucional e os professores por falta de interesse. A associação dos 
servidores indicou um representante com participação ativa nas 
reuniões embora de natureza essencialmente política. O trabalho 
técnico, a construção do projeto de autoavaliação, os termos de 
referência para as autoavaliações setoriais, a realização de estudos 
específicos e especializados, incluindo a elaboração e execução dos 
projetos, a consolidação das informações e a elaboração do relatório 
final, dependiam exclusivamente de três docentes indicados pela 
Reitoria, e que tinham experiência e/ou especialização na área de 
avaliação institucional. Apesar de todos os esforços para sensibili- 
zação e mobilização de colegas que poderiam contribuir em vários 
campos da autoavaliação da universidade, a comissão não conseguiu 
uma única colaboração para a produção ou reflexão de alguma 
temática de interesse do projeto. As justificativas dos professores 
eram de impossibilidade de encontrar tempo em suas agendas so- 
brecarregadas de aulas, orientações de estudantes, apreciação de 
processos, participação em bancas, pareceres em artigos, reuniões 
de departamento, colegiados e congregação, produção de comuni- 
cações científicas, todas estas atividades rotineiras e consideradas 
mais relevantes do que o trabalho voluntário em uma CPA. 

Estas atividades dos docentes da universidade impedem tam- 
bém que os membros da comissão de autoavaliação disponham de 
tempo para as atividades técnicas. Até mesmo encontrar um dia e 
horário comum disponível para as reuniões dos membros torna-se 
um exercício demorado e difícil, o que impede regularidade dos 
encontros e acaba por afetar o cronograma das atividades. Faltam 
uma estrutura técnica de caráter mais executivo e recursos alocados 
especificamente para o financiamento das atividades de pesquisa e 
de apoio administrativo. 

Um aspecto que não pode deixar de ser ressaltado ao se abordar 
o presente tema é que avaliações, por sua própria natureza, são atos 
políticos. A tomada de posição em relação à qualidade de programas, 
projetos ou instituições, em relação ao que funciona bem ou mal, é 
inevitavelmente um ato político. Publicizar as informações sobre o 
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que é avaliado pode alterar alocação de recursos, arranjos institucio- 
nais e afetar a percepção pública em relação a seus dirigentes. Para 
lidar com políticas de avaliação é essencial a compreensão da dinâmi- 
ca dos processos políticos e considerá-los na avaliação. Essa percepção 
pode, inclusive, colaborar na antecipação por parte dos avaliadores 
de resistências que podem ser oferecidas por dirigentes. 

Carol Weiss (1998), autora norte-americana de numerosos estudos 
sobre avaliação, aponta três situações recorrentes em que 0 fator 
político interfere na condução dos processos institucionais de ava- 
liação e que não podem ser ignorados pelos avaliadores: 

1. As políticas e programas avaliados são invariavelmente re- 
sultantes de decisões políticas. Eles são propostos, definidos, 
debatidos, viabilizados através de processos políticos, e ao 
serem implementados permanecem submetidos a pressões 
políticas, sejam elas hostis ou de apoio. 

2. As avaliações são empreendidas de modo a alimentar a toma- 
da de decisões, que situam-se sempre na arena política. Os 
resultados dos processos avaliativos concorrem com outros 
fatores que têm peso no processo político. 

3. A avaliação é, em si, uma instância política e por sua natureza 
implica em constatações sobre questões controversas sobre 
a legitimidade e utilidade de objetivos e estratégias, e até 
mesmo sobre 0 papel dos especialistas nesses programas. 

Concluindo, vale ressaltar que somente quando 0 avaliador tem a 
percepção dos interesses e motivações dos outros atores do sistema, 
do papel que ele próprio desempenha, dos obstáculos e oportunida- 
des implícitos no esforço de avaliar, das possibilidades e limites dos 
efeitos da avaliação, ou seja, somente mobilizando a sua sensibilida- 
de política, ele pode conduzir eficientemente a sua tarefa. 
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PODER, REPRESENTAÇÃO, PARTICIPAÇÃO, CONHECIMENTO E DECISÃO: A CPA DA UFBA ÍOI 



SINAES na perspectiva de 
membros da CPA: implantação, 
condução e avaliação 


Robinson Moreira Tenório (UFBA) 
Rivailda Silveira Nunes de Argollo (IFBA) 


INTRODUÇÃO 

A avaliação institucional apresenta-se como um campo de saberes 
novos e práticas recentes que têm relevância na expansão da oferta 
de ensino e das Instituições de Educação Superior (IES). Com a edição 
da Lei de Diretrizes e Bases da Educação Nacional (LDB) n.° 9.394/1996, 
fica assegurado um processo nacional de avaliação das IES e a União 
tem a incumbência de “autorizar, reconhecer, credenciar, supervisio- 
nar e avaliar, respectivamente, os cursos das instituições de educação 
superior e os estabelecimentos do seu sistema de ensino”. 

Nessa perspectiva, a avaliação das instituições e de cursos deveria 
ser uma prática processual e renovada, devendo o Poder Público 
assegurar a qualidade acadêmica das instituições e a consolidação de 
um sistema de educação superior com alto valor científico e social, 
bem como a distribuição e 0 uso adequado dos recursos públicos. 
Segundo Dias Sobrinho (2001, p. 16), a avaliação “do ponto de vista 
ético deveria atender ao interesse público, conforme as regras da 
vida social”; tal condição pode ser assegurada pelos seus propósitos 
proativos, natureza participativa, envolvendo a comunidade acadê- 
mica, 0 setor governamental e a sociedade. 


Os sistemas nacionais de avaliação têm potencial para esclare- 
cer as tendências da educação aos diversos segmentos da socieda- 
de, preservando fatores influentes na avaliação: a autonomia das 
instituições e responsabilidade do Estado. Na esfera pública, tais 
informações subsidiam os elaboradores das políticas públicas em 
educação e a sociedade, enquanto que na esfera privada, tornar 
pública as informações demonstra a responsabilidade de cada ins- 
tituição; ao final, permite avaliar o sistema educacional como um 
todo. (DEPRESBITERIS, 2001) 

A despeito de ser fácil a argumentação sobre a utilidade em 
se realizar uma avaliação institucional, tanto no nível governa- 
mental como institucional, as instituições são complexas e têm 
interessados, decisores e apoiadores externos e internos, cujos 
interesses divergem nos propósitos, resultados ou uso potencial 
dos relatórios oriundos do processo avaliativo. Embora 0 consenso 
seja difícil de ser obtido e as avaliações possam ser usadas para 
diferentes finalidades, busca-se interligar os propósitos específicos 
dos vários grupos interessados - governos, dirigentes e comuni- 
dade acadêmica, pais e alunos. De modo geral, a expectativa é a 
de promover as mudanças necessárias e 0 aperfeiçoamento das 
ações, com vistas à garantia de qualidade da educação, aliada ao 
uso eficiente e eficaz dos recursos. 

No cenário nacional, a avaliação institucional ganha destaque, 
sobretudo com a implantação do Sistema Nacional de Avaliação da 
Educação Superior (SINAES), 0 que coloca a temática na agenda do 
Estado, das IES e dos pesquisadores. Objetivando contribuir nessa 
discussão, 0 presente trabalho pretende aproximar a teoria, aqui 
referenciada no arcabouço legal que institui 0 SINAES, da prática 
em uma IES - o Instituto Federal de Educação, Ciência e Tecnologia 
da Bahia (IFBA), antigo Centro Federal de Educação Tecnológica da 
Bahia (CEFET-BA), a partir do relato de membros da Comissão Própria 
de Avaliação (CPA) quanto à implantação e condução do processo 
da avaliação institucional. 

A análise teórica foi realizada por meio de pesquisa documental 
e bibliográfica: legislação e orientações pertinentes ao SINAES; 
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documentos institucionais disponibilizados no site da IES (proje- 
tos, estatuto, instrumentos de avaliação, relatórios); produções 
científicas sobre a temática. Para a elaboração da análise prática 
do sistema, foram consideradas as respostas à pesquisa por meio 
de questionário, observações assistemáticas, experiências e re- 
flexões de membros da CPA do IFBA que atuam/atuaram como 
representantes dos segmentos dos alunos, dos docentes e dos 
técnico-administrativos. 

Ao destacar o relato de experiência dos membros da CPA à frente 
da condução do processo de implantação da autoavaliação institu- 
cional nos moldes do SINAES, pretende-se abordar aspectos próprios 
da proposta, apontando potencialidades e fragilidades inerentes ao 
Sistema (análise macro), mas principalmente aquelas concernentes 
à IES e seus atores (análise micro). Em síntese, fazer uma meta- 
avaliação com vistas a contribuir para a melhoria do processo. Assim, 
pretende-se responder: 

a) Como aconteceu a implementação do SINAES na IES e quais 
as dificuldades enfrentadas? 

b) Qual a repercussão da avaliação institucional no âmbito da 
IES? 

c) Decorridos quatro anos da implantação do SINAES, na visão 
dos membros da CPA, foram atendidas as finalidades prescri- 
tas na legislação? 

Na forma como se organiza o texto, apresenta inicialmente a 
importância e as finalidades da avaliação no contexto educacional, 
delineando um breve histórico das experiências com avaliação no 
Brasil; em seguida, descreve em linhas gerais o SINAES, segundo o 
arcabouço legal e documentos pertinentes; posteriormente, discorre 
sobre a implantação do SINAES no CEFET-BA, pretendendo aproxi- 
mar o construto teórico do SINAES da prática institucional revelada 
por membros da CPA e responder às questões citadas nesta seção. Por 
fim, tece algumas considerações, trazendo novos questionamentos 
para fomentar o debate, na perspectiva da continuidade e do apri- 
moramento do processo de avaliação institucional. 
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avaliação: algumas finalidades e 

CAMINHOS PERCORRIDOS NO BRASIL 

A avaliação possui um importante papel nas políticas públicas do ensino, 
marcadamente da educação superior. Visto como o nível de ensino 
considerado de custos mais elevados, apresenta-se como importante 
foco de análise pelo Estado, que, ao tempo em que controla a oferta, 
gerencia informações sobre as condições de ensino e gastos públicos. 

O Estado não pode deixar de ser integrado como um elemento chave 
na análise das políticas educacionais, visto que as crises sociais e educa- 
cionais mantêm uma estreita ligação com as condições e consequências 
do funcionamento do sistema econômico e suas implicações em termos 
de reformulação das políticas educativas e avaliativas. (AFONSO, 2000) 
A avaliação tem provido 0 Estado no controle regulatório nas ações 
de autorização, credenciamento, acesso e da qualidade dos serviços 
ofertados, bem como na distribuição e uso adequado dos recursos 
públicos. No papel de gestor desse bem público, 0 uso da avaliação se 
apresenta para orientar a expansão, segundo critérios das políticas 
educacionais, 0 mercado consumidor dos serviços educacionais - pais 
e alunos - e para produzir informações úteis à tomada de decisão. 

A avaliação tem sido usada como uma atividade predominante- 
mente técnica, vinculada às questões operacionais, à mensuração 
dos resultados. Valorizam-se aspectos quantitativos, em detrimento 
das suas reais possibilidades de pesquisa, cujo viés principal é gerar 
informações pertinentes da realidade, com vistas à melhoria dos 
processos e planos institucionais, da gestão e da prestação de contas 
à sociedade. Nesse sentido. Dias Sobrinho (1996, p. 7) destaca que 

[...] indicadores quantitativos promovem um balanço das 
dimensões mais visíveis e facilmente descritíveis, a respeito 
de medidas físicas, como área construída, titulação de pro- 
fessores, descrição do corpo docente, discente e servidores, 
relação dos servidores, dos produtos, das formaturas, volu- 
me de insumos, expressões numéricas supostamente repre- 
sentando qualidades, como no caso de número de citações, 
muitas vezes permitindo o estabelecimento de “ranking” de 
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instituições, com sérios efeitos nas políticas de alocação (ou 
“desalocação”?) de financiamento e como organizador social 
de estudantes e profissionais. 

Nesse aspecto, Depresbíteris (2001) propõe que a avaliação da 
qualidade da educação ocorra concomitante com uma análise do con- 
texto em que 0 processo educacional se desenvolve, contemplando 
as duas dimensões: a quantitativa e a qualitativa. Paralelamente à 
necessidade de se conhecer as especificidades dos estabelecimentos, 
0 que caracteriza uma avaliação em nível micro, é preciso avaliar 
em nível macro, isto é, realizar avaliação do sistema. 

A avaliação das IES, na forma como se delineia nas propostas 
de avaliação, tem caráter formativo, visando 0 aperfeiçoamento da 
comunidade acadêmica e da instituição como um todo. O alcance 
de elevados patamares de qualidade institucional e educacional 
advém da necessária mudança e inovação nas IES, cuja premência 
recai no exercício da avaliação institucional como forma de elabo- 
rar um diagnóstico que retrate as potencialidades e fragilidades 
de cada curso, departamento, unidade no nível micro e macro 
institucional. (LEITE, 2005) 

Se comparado com a experiência de outros países, 0 Brasil de- 
monstra que apesar da avaliação ser estudada, desde os anos 70, 
passou por longos períodos de estagnação ou de ações isoladas que 
não contribuíram para a consolidação de um sistema nacional de 
avaliação educacional. Nessa trajetória, a mais antiga e duradou- 
ra experiência brasileira refere-se à avaliação de cursos e progra- 
mas da pós-graduação, desenvolvida desde 1976 pela Comissão do 
Aperfeiçoamento de Pessoal de Nível Superior (CAPES). 

Na década de 80, as primeiras iniciativas de fomento encontram 
sistematização no Programa de Avaliação da Reforma Universitária 
(PARU) e nos estudos do Grupo Executivo para a Reformulação 
da Educação Superior (GERES). No início da década de 90, surge 0 
Programa de Avaliação Institucional das Universidades Brasileiras 
(PAIUB). Em meados da década de 90, O MEC, respaldado na Lei 
n° 9.131/1995 e na LDB, Lei n.° 9.394/1996, cria novos mecanismos de 
avaliação: 0 Exame Nacional de Cursos (ENC); a Análise das Condições 
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de Ensino (ACE) e Avaliação das Condições de Oferta (ACO). (GOUVEIA 
et. al., 2005; RISTOFF; GIOLO, 2006) A constatação na política educa- 
cional no Brasil é que a prática da avaliação tem sido incipiente, ainda 
que as experiências anteriores tenham colaborado para enriquecer 0 
debate e aperfeiçoar a ideia de uma avaliação global e integrada. 

De todo modo, qualquer avaliação mostra-se como uma atividade 
essencial, visto que vislumbra a melhoria do processo acadêmico, 
0 aperfeiçoamento da gestão e prestação de contas à sociedade. Na 
perspectiva de aliar à concepção regulatória uma visão abrangen- 
te dos processos avaliativos, a Comissão Especial da Avaliação da 
Educação Superior (CEA), designada pela Portarias MEC/SESu n° 11 
e 19/2003, foi instalada com a finalidade de 

[...] analisar, oferecer subsídios, fazer recomendações, pro- 
por critérios e estratégias para a formulação dos processos 
e políticas de avaliação da educação superior e elaborar a 
revisão crítica dos seus instrumentos, metodologias e critérios 
utilizados. (BRASIL, 2003, p. 7) 

A concepção de avaliação adotada pela CEA, cujos estudos resul- 
tam no SINAES, tem como ideias centrais a integração e participa- 
ção, por entender a avaliação como um processo que se vincula à 
dimensão formativa, correspondendo a um projeto de sociedade 
comprometido com a igualdade e a justiça social. Nessa perspectiva, 
a comissão vislumbrou um sistema de avaliação articulado com as 
funções de regulação inerentes à esfera estatal e com as funções 
educativas e emancipatória inerentes às instituições (INEP, 2007), 
0 qual será descrito e analisado na seção que se segue. 


SINAES! DESCRIÇÃO E ANÁLISE 

Com 0 advento da Lei n° 10.861/2004, foi instituído 0 SINAES com 
0 objetivo de assegurar processo nacional de avaliação das IES, dos 
cursos de graduação e do desempenho acadêmico de seus estudantes, 
em consonância com 0 estabelecido na Lei de Diretrizes e Bases da 
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Educação Nacional. O sistema tem por finalidade a melhoria da 
qualidade da educação superior, a orientação da expansão da sua 
oferta, o aumento permanente da sua eficácia institucional e efeti- 
vidade acadêmica e social. No artigo 3. 0 da referida Lei são descritas 
as dimensões 1 de avaliação propostas pelo S 1 NAES, que devem ser 0 
foco da avaliação institucional e que garantem, simultaneamente, a 
unidade do processo avaliativo em âmbito nacional e a especificidade 
de cada instituição. O sistema articula, coerentemente, concepções, 
objetivos, metodologias, agentes da comunidade acadêmica, da 
sociedade e de instâncias do governo. (INEP, 2007) 

Apresenta como princípios norteadores: a responsabilidade social 
da educação superior; 0 reconhecimento da diversidade do sistema; 
0 respeito à identidade institucional; a globalidade da instituição 
e uso articulado de um conjunto de indicadores; a legitimidade 
técnica, ética e política; a continuidade do processo avaliativo como 
instrumento de política educacional para cada instituição e 0 sis- 
tema de educação superior em seu conjunto; 0 compromisso com 
a finalidade construtiva e formativa da avaliação; a publicidade de 
todos os procedimentos, dados e resultados. (BRASIL, 2004) 

O S 1 NAES almeja, como um processo permanente, identificar 
0 perfil institucional e 0 significado da atuação de todas as 1 ES do 
Sistema Federal de Educação, por meio de uma proposta de avaliação 
formativa, regulatória e emancipatória. A proposta é que a avaliação 
não tenha um fim em si mesma, mas que seja parte de um conjunto 
de políticas públicas, sem ser focada apenas nos resultados. Assim, o 
S 1 NAES busca garantir a integração das dimensões interna e externa, 
somativa e formativa, qualitativa e quantitativa. 

Numa proposta de avaliação global e integrada das dimensões, 
atividades e responsabilidades das IES e de seus cursos, articula os re- 
sultados dos processos avaliativos que 0 compõem: da Avaliação dos 
Cursos de Graduação (ACG), da Avaliação das Instituições de Ensino 
Superior (AVALIES) e da Avaliação do Desempenho dos Estudantes 
(ENADE), conforme Figura 1. 


1 Para operacionalização 
da avaliação dessas 
dimensões, a CONAES 
elaborou o documento 
Orientações gerais para 
avaliação institucional 
organizados em três 
núcleos: o núcleo básico e 
comum contempla tópicos 
que devem integrar os 
processos de avaliação 
interna de todas as IES; o 
núcleo de temas optativos 
contém tópicos a serem 
escolhidos pelas IES para 
avaliação, segundo a 
pertinência e realidade 
institucional; e o núcleo 
de documentação, 
dados e indicadores 
que podem contribuir 
para fundamentar e 
justificar as análises e 
interpretações. 
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PERFIL INSTITUCIONAL 



Figura 1 - Componente da avaliação do SINAES 
Fonte: Elaborado pelos autores 


A modalidade ACG fornece informações sobre as condições de 
ensino, o perfil do corpo docente, a organização didático-pedagógica 
e a inffaestrutura. Trata-se de uma avaliação periódica subsidiada 
por meio de procedimentos específicos, com destaque para a visita 
in loco de comissões externas. 

A modalidade AVALIES busca fornecer uma visão global, a par- 
tir de dois olhares: avaliação externa, realizada por especialistas 
externos; autoavaliação, conduzida pela CPA. A avaliação interna 
ou autoavaliação tem como principais objetivos, dentre outros: 
produzir conhecimentos sobre a instituição; questionar os sentidos 
e o cumprimento das suas atividades e finalidades acerca da rele- 
vância científica e social de suas atividades e produtos; identificar 
fragilidades e as potencialidades nas dez dimensões previstas em 
lei; tornar mais efetiva a vinculação da instituição à comunidade; 
prestar contas à sociedade. 

Por sua vez, a avaliação externa é a outra dimensão essencial da 
avaliação institucional, já que contribui para o autoconhecimento 
e aperfeiçoamento das atividades desenvolvidas pela IES. A autoa- 
valiação fundamentará a avaliação externa. 

A análise documental subsidia a Avalies, marcadamente a avalia- 
ção externa, que utiliza os dados para elaborar o relatório, com vistas 
a subsidiar a regulação e a formulação de políticas educacionais. No 
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rol de documentos, destacam-se: o Relatório de Auto-avaliação, Censo 
e Cadastro da Educação Superior, Plano de Desenvolvimento Institucional 
(PDI), Projeto Pedagógico Institucional (PPI) e de Cursos. 

O ENADE 2 permite avaliar todos os cursos durante um triénio, 
configurando-se como componente curricular obrigatório, com apli- 
cação periódica, para uma amostra de alunos ao final do primeiro e 
do último ano de curso, com a finalidade de informar sobre o nível 
de conhecimento alcançado pelos alunos no Ensino Superior. Seus 
resultados poderão produzir dados por IES, constituindo referenciais 
que permitam a definição de ações voltadas para a melhoria da qua- 
lidade dos cursos de graduação, por parte de professores, técnicos, 
dirigentes e autoridades educacionais. 

Preconiza a referida Lei, no seu artigo 6 o , que a coordenação e su- 
pervisão do Sistema serão atribuições do órgão colegiado, denomina- 
do Comissão Nacional de Avaliação da Educação Superior (CONAES), 
enquanto que o INEP responde pelo apoio técnico à Comissão e pela 
operacionalização da avaliação no âmbito do SINAES. No âmbito das 
IES, serão constituídas as CPA, com as atribuições de condução dos 
processos de avaliação internos da instituição, de sistematização e 
de prestação de informações solicitadas pelo INEP. 

Na sua composição, a CONAES garante as seguintes representa- 
tividades: MEC, INEP, CAPES, órgão de regulação e supervisão da 
educação superior, IES - com as representações do corpo docente, 
discente e dos técnico-administrativos. São indicados cinco cidadãos 
com notório saber científico, filosófico e artístico e reconhecida 
competência em avaliação ou gestão da educação superior. (BRASIL, 
2004a) Destes, são membros natos: dirigentes das instâncias insti- 
tucionais de supervisão e avaliação da Educação Superior, do INEP, 
da CAPES, da Secretaria de Educação Superior (SESu); da Secretaria 
de Educação Profissional e Tecnológica (SETEC) e da Secretaria de 
Educação a Distância (SEED). (BRASIL, 2003) Cabe ainda citar a cria- 
ção da Comissão Técnica de Acompanhamento da Avaliação (CTAA), 
instituída pela Portaria Ministerial n.° 1.027/ 2006, com a função de 
assessorar 0 INEP no zelo pelo cumprimento das diretrizes do SINAES, 
podendo julgar os relatórios das comissões, em caso de recurso, e 
selecionar e excluir avaliadores do banco. (RISTOFF; GIOLO, 2006) 


2 A Avaliação de 
Desempenho dos 
Estudantes (ENADE) 
apresenta similaridades, 
diferenças e avanços em 
relação ao instrumento 
instituído anteriormente 
- ENC/provão. Para maior 
conhecimento sobre 
essa análise comparativa, 
consultar Verhine, Dantas 
e Soares (2006). 
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A constituição da CPA é de responsabilidade de cada IES, por 
ato do seu dirigente máximo ou segundo estatuto ou regimento 
próprio, e tem assegurada a participação de todos os segmentos da 
comunidade institucional e da sociedade civil organizada, sendo 
proibida a representação majoritária de qualquer um dos segmentos. 
A referida comissão tem atuação autônoma em relação a conselhos 
e demais órgãos colegiados existentes na IES. 

Inicialmente, pode-se afirmar que a proposta do SINAES, na 
forma como se dispõe no arcabouço legal e documental, aponta-a 
como parte de uma política de avaliação que apresenta princípios 
da legitimidade, autonomia, integração e transparência no que se 
refere à compreensão por parte do Estado (nível macro) e das IES 
(nível micro), haja vista os seus princípios norteadores. Atende as 
demandas de regulação e supervisão, ao tempo em que se configura 
como um processo educativo, fornecendo informações relevantes 
aos decisores externos e internos, à comunidade acadêmica, como 
de toda sorte, à própria sociedade. De modo participativo, o pro- 
cesso, desde a concepção, coordenação e acompanhamento tem 
sido compartilhado pelas representações do Estado, das IES e da 
sociedade civil organizada. 

Como maior potencialidade, o SINAES apresenta a possibilidade 
de autoconhecimento da/pela própria instituição, representado pela 
Avalies. A autonomia auferida a cada Instituição na elaboração e 
condução do seu projeto de avaliação, bem como na composição e 
regulamentação própria das respectivas comissões podem colaborar 
na institucionalização da avaliação. A perspectiva de participação de 
diferentes atores, de diferentes âmbitos nas comissões possibilitará 
uma visão ampliada e diversificada, aumentando a probabilidade 
dos sistemas, tanto político quanto educacional, perceberem as 
limitações ou mudanças externas, bem como as potencialidade/ 
fragilidades internas. 

Por outro lado, algumas lacunas podem ser apontadas no que foi 
descrito para o funcionamento do SINAES. Destacamos o fato de: não 
estabelecer uma fonte de financiamento para sua implementação, 
o que poderá dificultar a ação autônoma das comissões em relação 
ao poder decisório dos gestores; não propor um órgão na estrutura 
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organizacional, tanto no âmbito do MEC como das IES, necessário 
para dar suporte e garantir a continuidade das ações técnicas e exe- 
cutivas, tendo em vista o mandato temporário e a rotatividade dos 
representantes nesses órgãos colegiados; não explicitar as formas de 
intersecção para integrar os resultados da autoavaliação e avaliação 
externa com os do ENADE e da ACG. 

Como afirma Verhine, é melhor uma tentativa do que a inércia, 
sabedor que as avaliações de desempenho de estudantes, embora 
apresentem limitações, possibilitam alguma análise. 

Embora imperfeitos na apreensão de resultados, são, certa- 
mente, melhores do que nada. É melhor ter alguns resultados 
do que nenhum deles. Mas as limitações de tais resultados 
têm que ser conhecidas e, ademais, eles nunca deveriam 
ser tomados como a única medida de qualidade. É somente 
combinando-os com outros indicadores, inclusive os que 
tratam de insumos, freqüentemente melhor mensuráveis 
através de visitas “in loco”, que podemos avaliar a “qualida- 
de” de cursos de graduação e, por extensão, das instituições 
brasileiras de educação superior. (VERHINE, 2008) 


Na sua concepção teórica, 0 processo avaliativo proposto pelo 
SINAES propõe ultrapassar a mera preocupação com o desempe- 
nho dos estudantes, buscando significados mais amplos da forma- 
ção. Pretende superar simples verificações para estabelecimento 
de ranking, ao tempo em que destaca os significados das ativida- 
des institucionais, tanto do ponto de vista acadêmico quanto dos 
impactos sociais, econômicos, culturais e políticos, valorizando a 
solidariedade e a cooperação e não a competitividade e 0 sucesso 
individual. (TRINDADE, 2007) 

Para Ristoff e Giolo (2006, p. 203), o SINAES configura-se num 
sistema nacional “como apregoa a legislação”, abarcando “todas as 
IES, cursos e seus estudantes do País e não apenas os pertencentes 
ao sistema federal”. O grande desafio é fazer acontecer a avaliação 
institucional num sistema de ensino tão complexo e diversificado 
como se apresenta 0 sistema da educação superior. A implementação 
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é fruto da participação efetiva de todos os envolvidos no processo, o 
que no caso das IES tem destaque com a realização da autoavaliação 
institucional, cujos aspectos serão apresentados a seguir. 


SINAES: A PRÁTICA SEGUNDO MEMBROS DA CPA 

A prática que se toma como referência ocorre no Centro Federal 
de Educação Tecnológica (CEFET-BA), atual Instituto Federal de 
Educação, Ciência e Tecnologia da Bahia (IFBA) com a edição da Lei n° 
11.892/2008. Cabe ressaltar que a análise retroage às ações e ativida- 
des inerentes à autoavaliação do CEFET-BA. Doravante, adotaremos 
esta nomenclatura para resguardar a coerência com os documentos 
pesquisados, 0 período e 0 objeto da pesquisa. 

Os CEFET, conforme estabelece o Decreto n° 5.224/2004 e o 
Decreto n° 5.773/2006 

[...] são instituições de ensino superior pluricurriculares, es- 
pecializadas na oferta de educação tecnológica nos diferentes 
níveis e modalidades de ensino, caracterizando-se pela atua- 
ção prioritária na área tecnológica. 

De modo análogo, os Institutos Federais 

[...] são instituições de educação superior, básica e profissional, 
pluricurriculares e multicampi, especializados na oferta de edu- 
cação profissional e tecnológica nas diferentes modalidades 
de ensino. (BRASIL, 2008) 

A instituição apresenta estrutura multicampi com Unidades de 
Ensino em: Salvador, Simões Filho, Barreiras, Eunápolis, Valença e 
Vitória da Conquista, à época da implantação do SINAES. Atualmente, 
também integram a IES as Unidades de Ensino localizadas em 
Camaçari, Porto Seguro e Santo Amaro. 

Para implantar 0 processo de Avaliação Institucional no CEFET-BA, 
a primeira ação dessa Instituição foi instituir a Comissão Própria 
de Avaliação, por ato do Diretor Geral, conforme Portaria n° 319 de 
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23/07/2004 e suas alterações, indicando três representantes de cada 
segmento da comunidade interna - docente, discente e técnico- 
administrativo - e da sociedade civil. 

Adotou-se como critério para integrar a Comissão servidores que 
tivessem experiência no PAIUB 3 e/ou formação na área de avaliação, 
atuação em coordenação de cursos e, principalmente, interesse e 
disponibilidade para contribuir. A CPA contou com um Grupo de 
Trabalho (GT) instituído pela Portaria n° 563, de 23/11/2004, formado 
por Gestores da área Acadêmica, que juntamente com 0 Coordenador 
da Comissão participaram de Seminários promovidos pelo INEP/ 
CONAES. Fez-se mister 0 estudo e a análise documental de toda a 
regulamentação proposta no SINAES 4 , a fim de propor as ações e 0 
elenco de atividades necessárias ao caminhar da Instituição rumo à 
sua Avaliação. Uma das primeiras ações da CPA foi a elaboração do seu 
Regulamento. Nele destaca-se a instalação das Comissões Setoriais de 
Avaliação (CSA), que coordenam 0 processo de autoavaliação nas suas 
respectivas Unidades e a eleição dos representantes dos segmentos. 

Elaborados os primeiros Relatórios em 2007, houve renovação 
da Comissão, dessa vez por eleição. A decepção foi que 0 número 
de candidatos por segmento, exceto para os discentes, foi inferior à 
representatividade prevista, levando-nos a inferir que os docentes e 
técnicos não demonstraram interesse na condução do processo ou 
na temática. Este fato levou a Direção a preencher as vagas através 
da indicação de membros da comissão anterior. 

Em consonância com 0 SINAES e projeto de avaliação da IES, a 
CPA decidiu realizar a Autoavaliação, envolvendo todos os níveis e 
modalidades de ensino e não somente a Educação Superior. Dessa 
forma, criou 0 desafio de coordenar 0 processo, abarcando todas as 
Unidades de Ensino da instituição, contemplando além dos discen- 
tes e docentes dos cursos Superiores, também aqueles dos Ensinos 
Técnico, Profissionalizante e Médio. Ao mesmo tempo em que esta 
decisão reflete a autonomia da CPA para conduzir a avaliação inter- 
na, não encontra respaldo em relação aos demais componentes do 
SINAES, visto que as avaliações de desempenho de estudantes e de 
cursos têm como foco principal os cursos superiores. Ademais, as 
orientações, prazos, recursos, enfim, a normatização não correspon- 
de às necessidades previstas. 


3 O CEFET-BA aderiu 
ao PAIUB, mas teve uma 
participação tímida, com 
ações de sensibilização 
da comunidade. Apesar 
de não lograr êxito foi um 
passo importante para 
dar partida à implantação 
do SINAES, porque gerou 
um conhecimento técnico 
sobre a autoavaliação 
e interesse de alguns 
envolvidos no processo. 


4 Legislação (Lei n° 
10.861/2004, Portaria 
n° 2.051/2004) e os 
documentos Diretrizes 
para auto-avaliação 
das instituições, roteiro 
de auto-avaliação 
institucional 2004, 
Avaliação de cursos de 
graduação, avaliação 
externa de IES: diretrizes 
e instrumentos e 
orientações gerais 
para o roteiro de auto- 
avaliação das instituições. 
Disponíveis em www.mec. 
gov.br. 
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5 Foram elaborados sete 
instrumentos de pesquisa, 
referentes aos segmentos 
e às dimensões avaliadas: 

Ai - alunos avaliam 
aspectos do curso, gestão, 
infraestrutura, setores de 
apoio e a sua participação 
na vida acadêmica/ 
institucional; A2 - alunos 
avaliam curso, disciplina/ 
competência, professor e 
faz uma autoavaliação; B 
- técnico-administrativos 
avaliam setor, gestão, 
infraestrutura, setores de 
apoio e sua participação 
na vida acadêmica/ 
institucional; C - 
destinado à comunidade 
externa - empresas 
que avaliam a imagem 
institucional e aspectos 
relativos à formação e 
serviços prestados pelo 
CEFET-BA; Di - docentes 
avaliam departamento, 
gestão, infraestrutura, 
setores de apoio e sua 
participação na vida 
acadêmica/institucional; 
D2 - docentes avaliam 
curso, disciplina/ 
competência, alunos 
e se autoavaliam; E - 
destinado aos egressos 
para avaliar a formação 
e aspectos da avaliação 
global da instituição. 


A CPA e o GT dedicaram especial atenção à etapa da sensibilização, 
prevista em todo o processo. A sensibilização inicial da comunidade 
interna procurou: disseminar a proposta SINAES; elaborar a pro- 
posta de Autoavaliação Institucional do CEFET-BA; estabelecer os 
indicadores das dimensões que correspondiam à realidade institu- 
cional; construir os instrumentos. Nesse intuito, realizaram reuniões, 
palestras, encontros e oficinas em todas as Unidades. Destaca-se a 
realização, em dezembro de 2004, do “Seminário sobre Avaliação 
Institucional e Plano de Desenvolvimento Institucional do CEFET-BA”, 
que contou com a participação de representantes e consultores do 
INEP. O Seminário teve como objetivos apresentar 0 SINAES, bem 
como sensibilizar a comunidade do CEFET-BA para a construção do 
Projeto de Avaliação Institucional e consolidação da proposta do 
Plano de Desenvolvimento Institucional (PDI), com vistas a contar 
com uma contribuição mais efetiva de todos os segmentos. 

As estratégias de sensibilização possibilitaram a divulgação e 
participação da comunidade interna. Para tanto, a CPA criou um link 
na página institucional para colaborações, críticas e sugestões, bem 
como para divulgar amplamente Legislação, Regulamento, Projeto 
de Autoavaliação e Boletins Informativos das ações da Comissão. 
Foram realizadas outras atividades de sensibilização, a exemplo 
da realização de concurso dirigido aos discentes para escolha do 
mascote e de campanha de divulgação através de cartazes. 

Considerando a estrutura multicampi da Instituição, representan- 
tes da CPA e do Grupo de Trabalho estiverem em todos os Campi 
para apresentar 0 SINAES e a proposta em construção do Projeto de 
Autoavaliação Institucional. Nessas visitas foram realizadas palestras 
e oficinas para operacionalizar a escolha dos indicadores de cada 
dimensão, que atendiam a realidade institucional. Esta etapa do 
processo registrou a participação de 655 discentes, 119 docentes e 
87 técnico-administrativos. 

Para a construção dos instrumentos de avaliação tomou-se como 
base os indicadores propostos pela comunidade interna, as dimen- 
sões do SINAES e 0 roteiro de autoavaliação da CONAES. A CPA vali- 
dou e consolidou a versão final dos instrumentos 5 a serem aplicados 
aos diversos segmentos, contemplando questões fechadas e espaço 
para críticas e sugestões. 
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Com a consolidação do Projeto de Autoavaliação, aprovação do 
Regulamento pelo Conselho Diretor, construção dos indicadores e 
dos instrumentos de coleta, aliadas à instalação das CSA, realizou- 
se a etapa de coleta de dados, conforme cronograma do projeto. 
Considerando os princípios estabelecidos no projeto e objetivando 
garantir o envolvimento da comunidade, a pesquisa abrangeu todos 
os segmentos, sem intenção de definir uma amostra, permitindo a 
participação de todos os sujeitos interessados em colaborar. 

No ano de 2005, participaram da pesquisa 44% dos alunos matri- 
culados no ano de 2005 em todos os cursos ofertados, sendo 65% do 
Ensino Superior, 32% do Ensino Profissionalizante de Nível Técnico e 
51% do Ensino Médio; 35,2% docentes; 33,1% técnico-administrativos; 
127 egressos concluintes entre os anos de 2002 e 2005 e 80 instituições/ 
empresas da comunidade externa com atividades correlatas às áreas de 
atuação dos cursos ministrados pelo CEFET-BA. Enquanto os docentes 
e técnicos demonstram menor envolvimento e falta de interesse ao 
responder a pesquisa, há maior receptividade por parte dos discentes. 
A maior dificuldade, nesta etapa, residiu na apbcação dos instrumentos 
à comunidade externa e aos egressos. (MODESTO; ARGOLLO, 2007) A 
pesquisa da avabação interna 2008, em fase de finalização do tratamen- 
to de dados, registra a ampliação da participação e do conhecimento 
sobre Avaliação Institucional em todos os segmentos internos. 

Decorridos quatro anos da implantação muitos são os que não se 
envolvem no processo, contudo algumas ações têm sido importantes 
para ampliar 0 conhecimento e a participação, contribuindo para 
o autoconhecimento da IES, a saber: realização da pesquisa em 
diversos momentos, aplicação dos instrumentos junto aos discentes 
no período da matrícula, uso da avaliação de docentes pelos alunos 
para fins de progressão, divulgação e uso dos resultados. Neste caso, 
conforme foi registrado no PPI “[...] a partir da análise dos resul- 
tados obtidos, a CPA fez algumas recomendações, por segmento 
pesquisado, aos dirigentes do CEFET-BA, aos setores estratégicos e 
às coordenações de cursos. Apresentaremos, a seguir, alguns dados 
que consideramos essenciais para 0 diálogo de formulação do PPI”. 
(CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DA BAHIA, 200-) 
No documento foram elencados vários aspectos da avaliação, cola- 
borando para apropriação dos resultados da avaliação. 
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Os membros da comissão são unânimes em reconhecer a etapa de 
tratamento e consolidação de dados como a de maior dificuldade de 
operacionalização, por exigir um esforço árduo dos participantes, em 
decorrência do incipiente apoio tecnológico na coleta e tratamento 
dos dados. Ainda que a gestão, com recursos próprios, tenha adquiri- 
do um sistema para a digitação de todos os dados coletados na forma 
impressa, este se restringiu a organizar os dados quantitativos por 
Unidades de Ensino, cursos e segmentos pesquisados. Esta constata- 
ção impõe o predomínio de dados quantitativos na pesquisa. 

Análises estatísticas, categorizações e elaboração de gráficos foram 
elaboradas manualmente, com o uso do Excel. Ainda hoje, a coleta 
on fine só é disponibilizada para os alunos dos cursos superiores da 
Unidade Salvador. Esforços têm sido envidados para a elaboração de 
um sistema mais completo, no entanto a insuficiência de recursos 
humanos e financeiros toma o processo muito demorado. Quanto ao 
aporte de recursos financeiros, a Instituição tem arcado com todos 
os custos operacionais do processo, visto que recebeu uma única 
vez recursos do INEP para fins de aquisição de passagens, diárias e 
material de consumo. 

Outras questões levantadas pelos membros merecem citação: 
ausência de um plano de capacitação dos membros e gestores pela 
CONAES/INEP; maior integração do pesquisador institucional com 
a CPA, a fim de melhor disponibilizar as informações coletadas 
pelo INEP; fragilidades na estratégia de comissões de trabalho, com 
acúmulo de atividades não remuneradas e muitas vezes não reconhe- 
cidas, gerando descomprometimento; ausência de setor específico 
na estrutura organizacional, a fim de garantir um continuum da 
avaliação institucional com vistas a uma cultura de avaliação; maior 
feeáback por parte das CONAES/CTAA/INEP para possíveis correções 
do processo e divulgação dos resultados e encaminhamentos. Na 
prática, a realização da avaliação externa para todas as instituições 
e cursos mostrou-se inexequível. 

De modo geral é apontada como potencialidades do SINAES a pro- 
posta de uma avaliação com o objetivo de melhoria da qualidade do 
ensino; em contraponto, os membros expõem como fragilidades ou 
limitações a real utilização dos resultados para a tomada de decisão, 
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o uso da avaliação como forma de classificar as instituições; o eleva- 
do número de indicadores que toma a avaliação ao mesmo tempo 
abrangente, muito extensa e, por vezes, impossível de ser avaliada por 
todos os segmentos da comunidade acadêmica. O alcance das ações 
da autoavaliação institucional ainda é restrito a poucos interessados, 
além da Comissão que a conduz, o que leva à inferência e à cons- 
tatação, por parte dos membros pesquisados, de que a prática tem 
servido “meramente como documentos comprobatórios da realização 
de uma avaliação institucional”, visto que “os dados da avaliação não 
foram devidamente utilizados pelos setores para correção ou tomada 
de decisões [...] principalmente no plano acadêmico”. 


CONSIDERAÇÕES PROVISÓRIAS FINAIS 

A aproximação realizada corrobora com a análise de que é mais 
fácil aprovar leis do que pô-las em prática, tal qual a intenção dos 
legisladores. Isto indica que a avaliação da educação, tal qual o amplo 
processo de avaliação institucional das IES, não acontece apenas 
mediante a promulgação de leis ou normas. O modelo SINAES, como 
ora se apresenta no caso teórico e empírico, supre a carência de 
avaliação como um sistema nacional integrado, que responde às 
funções de regulação e se constitui num repensar os rumos das IES 
em busca da qualidade, num processo educativo e de construção 
de uma cultura de avaliação nas instituições, tanto nas dimensões 
internas quanto externas. 

Por outro lado, a amplitude e complexidade do sistema federal, 
das IES e das dimensões avaliadas evidenciam um longo caminho 
para o necessário aperfeiçoamento. As modalidades que compõem 
o SINAES assinalam como foco a avaliação do ensino, parecendo 
dissociá-lo da pesquisa e extensão. De outro modo, carece melhor 
responder às demandas da sociedade no que concerne à melhoria 
da qualidade da educação e responsabilidade social das IES. 

O delineamento do processo de autoavaliação buscou ocorrer de 
forma integrada, participativa e voluntária, segundo os princípios 
da globalidade, continuidade, legitimidade, respeito à identidade 
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institucional e enfatizando a avaliação como oportunidade de desen- 
volvimento institucional. Com este propósito, os procedimentos e 
instrumentos de pesquisa para autoavaliação foram disponibilizados 
e construídos de forma coletiva e participativa, atendendo aos prazos 
e respeitando o interesse dos envolvidos. Apesar dos esforços para 
sensibilização, a implantação de qualquer sistema de avaliação vai 
registrar fragilidades decorrentes da inexistência de uma prática 
avaliativa na IES, mas principalmente pela falta de conhecimento 
e/ou desinteresse dos envolvidos. 

Pode-se afirmar que a comissão contou com independência e 
autonomia relativas, já que atendeu aspectos obrigatórios, orienta- 
ções e recomendações do SINAES, além das limitações pertinentes 
a uma organização pública. De outro modo, não houve restrições 
de ações, nem interferência nos trabalhos, censura ou ‘maquiagem’ 
nos relatórios por parte dos Gestores. Pelo contrário, mostram-se 
abertos ao processo e dispostos a contribuir, destinando recursos e 
inffaestrutura necessários à implantação, disseminação e continui- 
dade do processo. 

Por outro lado, a lentidão para realizar as ações de recomenda- 
ções ou melhoria nos (re)conhecidos pontos fracos, apontados na 
avaliação, desestimulam uma nova etapa de pesquisa, e até mesmo 
esvazia o processo de discussão de resultados, porquanto, algumas 
vezes, o resultado corrobora o que já se achava numa avaliação 
informal, todavia não se concretiza a mudança almejada. 

Para finalizar, indaga-se: Como integrar todos os dados pesqui- 
sados, modalidades e dimensões, de modo que seja inteligível à 
comunidade interna e sociedade? Como realizar, no CEFET-BA/IFBA, 
uma avaliação institucional sem oportunizar a fala e os componentes 
da avaliação a todos os envolvidos no processo? A integração da mo- 
dalidade Avalies, da avaliação de cursos e de desempenho de alunos, 
incluindo aspectos e envolvidos apenas dos cursos superiores são 
bastantes para traçar esse perfil institucional? Estas são questões 
difíceis de responder, mas que nos fazem refletir sobre a diversida- 
de do sistema de educação e, quiçá, buscar o aperfeiçoamento do 
processo avaliativo. 
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A avaliação como instrumento 
de aperfeiçoamento do 
ensino em odontologia 


Mariângela Silva Matos (UFBA) 
Robinson Moreira Tenório (UFBA) 


INTRODUÇÃO 

Diferentes autores têm dado diferentes respostas ao que é avaliação. 
Apresentaremos, de forma sintética, uma compreensão desse con- 
ceito. A avaliação de um processo é uma atividade que consiste no 
levantamento de informações fidedignas e precisas sobre o processo, 
para subsidiar uma tomada de decisão com vistas à sua melhoria. 
Em outras palavras, a avaliação comporta três grandes momentos: 
um primeiro momento do diagnóstico, de busca de informações 
de qualidade, ou seja, fidedignas e precisas; um segundo momento 
de julgamento, de tomada de decisão, em que as informações pre- 
viamente levantadas, organizadas e analisadas servirão de subsídio 
para uma tomada de decisão com relação ao processo em avaliação; 
e, finalmente, faz parte ainda da avaliação, um terceiro momento 
que é o uso dessa decisão no sentido de melhoria do processo. Então, 
se incorpora no conceito de avaliação, a finalidade da avaliação. Ao 
longo da história, diferentes concepções de avaliação privilegiaram 
apenas uma parte desse processo. Inicialmente, a primeira geração 
de avaliadores no início do século XX, primeiro momento de refle- 
xão sistemática sobre avaliação, considerou que avaliar era medir; 
o papel do avaliador era o de quantificar, estabelecer medida, de 
aplicar testes, e, portanto, nessa primeira concepção de avaliação 


praticamente a avaliação se identificava como um diagnóstico, como 
um processo de medida da realidade. Isso é claramente insuficien- 
te, porque a avaliação deve considerar os objetivos do processo e 
verificar se aqueles objetivos estão sendo atingidos - e esta foi a 
reflexão elaborada pela segunda geração de avaliadores, já na déca- 
da de 50, que avançou na compreensão da avaliação entendendo-a 
como sendo uma verificação da adequação ou não dos objetivos 
previamente estabelecidos no processo. Desta forma, a avaliação 
deixava de ser simplesmente um diagnóstico, uma medida, para ser 
também uma verificação do atendimento dos objetivos do processo 
avaliado. Isto ainda se revelou insuficiente e, já nos anos 70, a ideia 
de que era preciso tomar uma decisão com relação ao diagnóstico 
feito e à adequação dos objetivos, tomou conta da nova geração de 
avaliadores e passou-se a ter uma ideia de avaliação mais rica, em 
que a tomada de decisão e o julgamento passaram a ser essenciais. 
Mais recentemente, nos anos 90, a ideia de que essa tripla concepção 
de diagnosticar, verificar objetivos e julgar era inadequada, trouxe 
também em consideração a ideia de negociação, a ideia de que os 
envolvidos no processo devem participar tanto da definição da pró- 
pria avaliação como do uso dos seus resultados. Avançando na con- 
cepção do tema, tem sido proposto, a partir das próprias demandas 
da sociedade contemporânea, dar um passo a mais e fazer com que 
os responsáveis pela avaliação participem, também, da proposta de 
melhoria do processo. Isso já seria uma quinta dimensão de avaliação, 
que conforma a ideia da avaliação como envolvimento. 

O Brasil revela uma ausência de tradição em avaliar 0 seu sistema 
educacional. Apenas em meados das décadas de 80 e 90, começou a se 
delinear a tentativa de se criar uma cultura da avaliação no país. Ela 
tem início com 0 ensino médio por meio do Sistema de Avaliação da 
Educação Básica (SAEB), tendo em vista 0 monitoramento das políti- 
cas de educação conduzidas no país. Tal proposta foi, posteriormente, 
substituída pelo Exame Nacional do Ensino Médio (ENEM). 

Após a regulamentação da nova Lei de Diretrizes e Bases da Edu- 
cação Nacional (LDB n° 9394 de dezembro de 1996), a avaliação edu- 
cacional passa a ganhar um maior destaque, de modo que, durante 
a década de 1990, foram desenvolvidas no país algumas propostas de 
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avaliação do ensino superior: em 1993 surgiu 0 Programa de Avaliação 
Institucional das Universidades Brasileiras (PAIUB) com uma proposta 
de adesão voluntária das universidades e concebendo a autoavaliação 
como etapa inicial de um processo que se completaria com a ava- 
liação externa. (INEP, 2003) Em outubro de 1996, 0 Decreto n° 2.026 
estabeleceu 0 processo de avaliação dos cursos e instituições através 
do Exame Nacional de Curso (Provão) e da Análise das Condições de 
Oferta dos Cursos. (BRASIL, 1996) A primeira Avaliação das Condições 
de Oferta dos Cursos ocorreu no período de novembro de 1997 a 
outubro de 1998, para todos os cursos que participaram do Provão 
em 1996 e 1997, dentre eles, os Cursos de Odontologia. 

Em 2003, o Ministério da Educação (MEC) propôs a criação o 
Sistema Nacional de Avaliação da Educação Superior (SINAES), sendo 
este regulamentado pela Lei n° 10861 de 14/04/04. Para Barreyro e 
Rothen (2006), o SINAES é o resultado da cumulação e da meta- 
morfose das experiências de avaliação anteriores (PAIUB, Avaliação 
dos Cursos de Graduação, Avaliação das Condições de Ensino e 0 
Provão). A cumulação dos mecanismos de avaliação foi realizada sem 
considerar que cada um deles é produto de valores e paradigmas 
divergentes: a visão formativa/emancipatória do PAIUB, fundamen- 
tada na participação e na autonomia institucional, a visão somativa 
da Avaliação das Condições de Ensino e o mecanismo de ranking 
do Provão. Ainda assim, 0 SINAES tem 0 mérito de sinalizar uma 
mudança na concepção da avaliação com foco no mercado para a 
ênfase na melhoria da qualidade. 

Conforme o documento base para a proposta do SINAES, editado 
pelo MEC (INEP, 2003), 0 conceito de avaliação tem como referências 
centrais a autonomia, a integração e a participação, apontando para 
um formato de avaliação a ser realizada em função dos objetivos es- 
tabelecidos pela própria instituição (autoavaliação), complementada 
por avaliações externas. Pressupõe, dessa forma, que as instituições 
fortaleçam os seus projetos pedagógicos e reformulem, quando 
necessário, as suas metas. Segundo esse documento, 0 SINAES deve 
articular duas dimensões: (1) a avaliação educativa, de natureza 
formativa, mais voltada para juízos de valor e mérito com 0 objetivo 
de aumentar a qualidade e as capacidades de emancipação e (2) a 
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regulação do Estado, em suas funções de supervisão, fiscalização, 
decisões concretas de autorização, credenciamento, recrendencia- 
mento, descredenciamento, transformação institucional, etc. 

Embora a cultura da avaliação esteja progressivamente sendo 
incorporada às instâncias de gestão acadêmica das instituições de 
ensino superior, as propostas de avaliação ainda carecem de maior 
compreensão e da criação de instrumentos adequados às suas fi- 
nalidades. O que assistimos em alguns cursos de Odontologia é a 
aplicação de instrumentos de avaliação interna superficiais, criados 
apenas com a intenção de cumprir as exigências do MEC em sua 
função reguladora. Destacamos desse modo, a necessidade de se criar 
e conduzir propostas de avaliação interna, balizadas por interesses 
menos político-econômicos e mais pedagógicos, humanos e sociais. 
Nesse sentido, proceder a avaliações de forma sistemática, íntegra 
e eticamente conduzidas da dinâmica do contexto institucional 
pode contribuir para formar uma cultura de avaliação com vistas 
ao aperfeiçoamento da qualidade do ensino. 


A AVALIAÇÃO COMO POSSIBILIDADE DE 
APERFEIÇOAMENTO DOS CURSOS DE ODONTOLOGIA 

Com base em uma reflexão crítica acerca da inadequação do perfil do 
egresso dos cursos de Odontologia tendo em vista as necessidades so- 
ciais do país, o artigo 13 das Diretrizes Curriculares Nacionais (DCN) 
(CONSELHO NACIONAL DE EDUCAÇÃO, 2002) institui que os cursos 
devem estabelecer com clareza aquilo que se deseja obter como um 
perfil do profissional integral, envolvendo dimensões cognitivas, 
afetivas e psicomotoras nas seguintes áreas: formação geral (conhe- 
cimentos e atitudes relevantes para a formação científico-cultural 
do aluno), formação profissional (capacidades relativas às ocupações 
correspondentes) e cidadania (atitudes e valores correspondentes à 
ética profissional e ao compromisso com a sociedade). 

No artigo 6 o , são definidos os conteúdos essenciais para 0 curso 
de Odontologia, passando a ganhar destaque os das ciências huma- 
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nas e sociais, onde se incluem os conteúdos referentes às diversas 
dimensões da relação indivíduo/sociedade, contribuindo para a com- 
preensão dos determinantes sociais, culturais, comportamentais, 
psicológicos, ecológicos, éticos e legais, no nível individual e coletivo 
do processo saúde-doença. 

Os resultados da primeira avaliação institucional dos cursos de 
Odontologia no Brasil mostraram que a maioria dos cursos não 
possuía um projeto pedagógico ou o apresentaram de forma incom- 
pleta e que, ao longo dos últimos anos, os cursos não foram muito 
alterados, embora algumas faculdades tenham elaborado currículos 
diferenciados. Os cursos de Odontologia no Brasil ainda priorizam a 
formação técnico-científica; enfatiza os aspectos cognitivos; valoriza 
a memorização de conteúdos, é centrado na figura do professor; 
privilegia a especialização e a tecnologia de ponta; e o corpo do- 
cente não prioriza os aspectos sociais, humanísticos, culturais e de 
cidadania. (CARVALHO, 2001, p. 51-52) 

Alterar esse modelo requer um trabalho árduo que envolve não 
apenas a instituição de reformas educacionais e/ou prescrições de 
regras e normas produzidas no seio das organizações escolares, mas 
antes de tudo a reflexão radical das mudanças desejadas envolvendo 
os sujeitos que vivem a cotidianidade da escola. 

Evidencia-se, deste modo, a necessidade de, segundo Silva Júnior 
e Ferretti (2004), compreendermos as reformas educacionais na sua 
concretização, uma vez que elas não se esgotam em suas proposi- 
ções. Elas são históricas, não constituem um todo hegemônico e 
expressam interesses diferentes em todas as instâncias. Para esses 
autores, é na escola que se condensa a materialidade do processo 
educativo e apesar desta constituir-se com base em um ordenamento 
jurídico, constitui-se principalmente pelos sujeitos que nela atuam. 
Assim, apesar da pretensão do Estado de interferir, por meio das 
reformas, na organização escolar ele se esbarra em diferentes formas 
de resistências, conscientes ou não. 

Mesmo compreendendo esses limites das reformas educacionais 
e as contradições inerentes às propostas do MEC, agrada-nos a ten- 
tativa insistente dos documentos oficiais em dar ênfase à dimensão 
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ético-humanista na formação do dentista. Ainda que esse salto qua- 
litativo seja um processo a ser construído (ou em construção?) e as 
resistências à mudança sejam claras, é preciso viver essa utopia - e 
lutarmos por ela! - no sentido de formar profissionais que assumam, 
nesse processo, a consciência de si e das relações humanas e sociais 
das quais são sujeitos. 

Essa reflexão nos convida a levantar algumas questões: o que 
temos conseguido evoluir, no âmbito da formação em Odontologia, 
no sentido de contribuir com os processos formativos dos alunos 
em sua dimensão ético-humanística, hoje tão valorizada nas polí- 
ticas públicas de Educação e Saúde e no mercado de trabalho? Que 
papel as avaliações externas e internas desempenham no sentido 
de aperfeiçoar essa dimensão da formação? 

De acordo com Saul (1994), a ênfase maior da avaliação tem sido 
centrada nos produtos ou resultados, de modo que esse modelo 
tecnológico conduz facilmente a uma atividade avaliativa de caráter 
burocrático. Quando 0 objetivo da avaliação é compreender uma 
situação onde interagem seres humanos com intencionalidades 
e significados subjetivos é necessário considerar-se as diferentes 
posições, opiniões e ideologias mediante as quais os indivíduos 
interpretam os fatos e os objetivos e reagem nas diferentes situa- 
ções. Nesse sentido, a autora defende (SAUL, 1994, p. 61) a avaliação 
emancipatória, caracterizando-a como um processo de descrição, 
analise e crítica de uma dada realidade, visando transformá-la. Ela 
está situada em uma vertente político-pedagógica cujo interesse 
primordial é emancipador, visando promover a crítica, de modo a 
libertar 0 sujeito de condicionamentos deterministas. Esse modelo 
de avaliação está comprometido com 0 futuro, com 0 que se pretende 
transformar, a partir do autoconhecimento crítico do concreto e 
do real. Pode permitir que o homem, através da consciência crítica, 
imprima uma direção as suas ações nos contextos em que se situa. 

É nessa perspectiva que 0 presente trabalho se inscreve. Ao ter 
clareza sobre os desvios da formação profissional em odontologia 
na sua dimensão ético-humanística, buscar a avaliação como um 
instrumento indispensável para a reorientação dos desvios ocorridos 
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no processo de formação. Apenas a partir do conhecimento e de uma 
reflexão crítica de tais desvios é possível aperfeiçoar o seu foco de 
atuação, o aluno em formação, e, deste modo, fortalecer o sistema 
de saúde na qual ele atua, beneficiando a sociedade. 

Para enfrentar as inúmeras mudanças conjunturais do país e 
aquelas relacionadas ao campo de trabalho odontológico e aos avan- 
ços científicos da profissão, as instituições formadoras de recursos 
humanos em Odontologia se defrontam, atualmente, com o grande 
desafio de repensar o modelo hegemônico de formar dentistas. 

Abarcar as dimensões ética, humana, social, epidemiológica, 
política, econômica e cultural, tradicionalmente excluídas ou mi- 
nimamente mobilizadas, requer um processo de discussão amplo e 
radical dos atores que vivenciam a formação profissional, de modo 
que, uma vez ocorrendo a apropriação dos conhecimentos que apon- 
tam para a necessidade de mudanças, estes possam empreender os 
esforços para se vencer as barreiras historicamente e culturalmente 
construídas sobre o papel social da profissão. 

É a partir da função social e em razão dela que é montada toda a 
estrutura organizacional da escola. Essa estrutura vem sendo cada 
vez mais posta em tensão pelas mudanças nos contextos sociais e 
de produção do conhecimento, bem como pelas alterações que são 
solicitadas à instituição escolar em vista de tais mudanças. (SILVA 
JÚNIOR; FERRETTI, 2004, p. 64) 

Zanetti (2004) sugere que a Odontologia está vivendo uma con- 
juntura que reúne desafios de várias ordens. Legados de um passado 
artesanal, liberal, homogeneizante e unidimensionalizante que se 
defrontam com uma perspectiva de futuro complexa, heterogênea, 
multicêntrica e indeterminada. Os desafios, como Zanetti (2004) 
afirma, são de diversas ordens e estes, em diferentes níveis, pres- 
sionam as instituições formadoras por mudanças que deem conta 
de acompanhar a complexidade da conjuntura atual. Não tendo 
a intenção de abarcá-los como um todo, apontamos na Figura 1 
quatro dimensões percebidas como eixos norteadores para uma (re) 
significação da formação do dentista contemporâneo. 
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Figura 1 - Eixos norteadores para a (re)significação da formação do cirurgião-dentista 
contemporâneo. 

Fonte: Elaborado pelos autores 


1. O mercado de trabalho odontológico: O aumento da com- 
petitividade na esfera privada tem conduzido à busca de 
mecanismos concorrenciais, sendo o estabelecimento de 
uma relação paciente-profissional pautada na ética, na co- 
municação e nos referenciais científicos, afetivos, psicológicos 
e pedagógicos um dos principais mecanismos apontados. 
(ZANETTI, 2004) 

2. As políticas públicas de saúde: O Ministério da Saúde propõe 
como princípios norteadores da atenção a ética, 0 acolhimen- 
to e 0 vínculo, considerando 0 usuário em sua integralidade 
biopsicossocial. Elas têm cobrado das instituições formadoras 
um perfil profissional pautado em referenciais ético-huma- 
nísticos, com habilidade comunicativa e responsabilidade 
social, tendo como referência o “cuidado” com os indivíduos 
e não a mera assistência aos doentes. (BRASIL. Ministério da 
Saúde, 2004) 

3. As políticas públicas de educação: As DCN, conforme já 
explicitado, apontam que os Cursos de Graduação em Odon- 
tologia devem ter um perfil de egresso, pautado em princípios 
éticos, legais e na compreensão da realidade social, cultural 
e econômica do seu meio. (CONSELHO NACIONAL DE EDU- 
CAÇÃO, 2002) 

4. O conhecimento científico acerca do processo saúde/doen- 
ça bucal: Finalmente, 0 instrumental científico-tecnológico, 
por si só, não tem sido suficiente para responder a alta com- 
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plexidade que envolve o processo saúde-doença” (BRASIL. 
Ministério da Saúde, 2004), uma vez que o homem tem um 
corpo que sofre reagindo fisiologicamente a toda uma 
gama de influências concretas do tipo emocional, cultural e 
moral. (PESSOTTI, 1996, p. 443) 

Com base nessas reflexões, surgiram algumas perguntas que 
balizaram a organização deste capítulo: 0 documento que descreve 
o projeto pedagógico dos cursos avaliados contempla essa dimensão 
da formação? Como os alunos e os professores avaliam 0 estímulo ao 
desenvolvimento da dimensão ético-humanística em seu processo de 
formação? Os discursos registrados no projeto pedagógico e eviden- 
ciados nas mensagens dos alunos e professores, de fato, emergem no 
cotidiano das clínicas de ensino? Ao responder estas questões, este 
trabalho propõe-se a servir de subsídio para a reflexão da formação 
profissional nos cursos avaliados. 


PERCURSO METODOLÓGICO 

O presente capítulo é parte de um estudo de caso múltiplo de abor- 
dagem quantitativa e qualitativa, para 0 qual elegemos como campo 
de pesquisa dois cursos de Odontologia da Bahia 

Os cursos foram selecionados dentre os seis existentes no Es- 
tado da Bahia, com a intenção de garantir uma representação de 
cada instância administrativa, uma pública e uma privada. A razão 
principal para a seleção dos cursos foi 0 fato de que três deles eram 
novos, de maneira que a primeira turma ainda não se encontrava 
na fase de finalização do curso. 

Para a coleta dos dados, optamos pela triangulação, um proces- 
so de comparar e contrastar informações provenientes de fontes 
diversas por diferentes métodos e de múltiplos observadores. 
Assim, os resultados referentes à avaliação da dimensão ético- 
humanística serão apresentados, tendo como base: (1) a análise 
do Projeto Pedagógico; (2) a percepção dos alunos e professores 
acerca de como se dá essa formação nos seus respectivos cursos; 
e (3) a observação participante. 
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ANALISE DO PROJETO PEDAGÓGICO 

Para avaliar se os cursos têm uma proposta de organização curricular 
que valorize a dimensão ético-humanista na formação dos alunos foi 
feita uma análise dos seus projetos pedagógicos, buscando identifi- 
car se essa dimensão é contemplada e de que maneira se evidencia. 
Nesse sentido, a análise foi focada nos componentes descritos no 
corpo do projeto e nos planos das disciplinas anexados a este. 

Percepção dos alunos 

A população de referência que respondeu ao questionário foi repre- 
sentada por todos os alunos (matriculados no semestre de coleta 
dos dados), que estavam cursando a primeira disciplina com práti- 
ca clínico-ambulatorial (Grupo 1 - 4 0 ou 5 0 semestre); aqueles que 
estavam cursando, aproximadamente, a metade dessas disciplinas 
e aquelas com práticas coletivas (Grupo 2 - 7 ° e/ou 8 o semestres); e 
os que estavam cursando a última disciplina ambulatorial do curso 
(Grupo 3 - 9 o ou 10 o semestre). 

A análise quantitativa das respostas dos alunos foi feita no pro- 
grama estatístico Epi Info, versão 6.0, buscando estabelecer uma 
estatística descritiva (frequência, porcentagem). Procedemos, tam- 
bém, a uma análise qualitativa das questões abertas. 

Percepção dos professores 

Foram selecionadas 21 disciplinas do curso público e 26 do curso 
privado, sendo excluídas as discipbnas cujos professores não estavam 
diretamente envolvidos em atividades práticas que incluíam pacien- 
tes. Cada professor lotado nessas disciplinas recebeu uma numeração. 
Procedido ao sorteio, a amostra foi composta por 17 professores 
do curso público e 17 do curso privado, os quais participaram de 
entrevistas não diretivas, sendo estas gravadas e transcritas. 

A análise dos dados obtidos nas três técnicas acima foi procedida 
por meio da análise de conteúdo temática. (BARDIN, 1970) 

Observação Participante 

Para avaliar como se caracterizam, no cotidiano dos ambulatórios, 
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as relações sociais no que se refere à dimensão ético-humanista, 
elegemos a técnica de observação participante em uma disciplina 
de cada curso, sendo selecionada aquela que representava a última 
disciplina com práticas ambulatoriais. 

Os registros das observações foram feitos em forma de notas 
de campo em folhas numeradas, datadas e identificadas. Nestas, 
eram anotados ocorrências factuais, comportamentos emergen- 
tes, sentimentos, impressões, angústias e reflexões que emergiam 
nessa interação. 

Para a análise dos dados, foi feita uma leitura das notas de campo, 
procedendo a uma limpeza das observações registradas, buscando-se 
apresentar e discutir as situações de acordo com os elementos de 
análise observados. 


RESULTADOS E DISCUSSÃO 

Apresentaremos aqui a mesma ordem descrita na metodologia. 
ANÁLISE DOS PROJETOS PEDAGÓGICOS 

A seleção do Projeto Pedagógico como documento de análise foi feita, 
por entendermos que este é o documento que mais reflete a inten- 
cionalidade do “fazer educativo” dos sujeitos de uma instituição de 
ensino. Nesse sentido, é pertinente reconhecê-lo conceitualmente: 

O Projeto Político Pedagógico é um plano global da instituição. 
Pode ser entendido como a sistematização, nunca definitiva, 
de um processo de planejamento participativo, que se aper- 
feiçoa e se objetiva na caminhada, que define claramente o 
tipo de ação educativa que se quer realizar, a partir de um 
posicionamento quanto à sua intencionalidade e de uma 
leitura da realidade. Trata-se de um importante caminho para 
a construção da identidade da instituição como fruto de uma 
dada concepção de mundo, de epistemologia, de educação. 
(VASCONCELLOS, 2002, p. 17) 


A AVALIAÇÃO COMO INSTRUMENTO DE APERFEIÇOAMENTO DO ENSINO EM ODONTOLOGIA 133 


O projeto pedagógico do curso público foi reelaborado com a 
participação de representantes docentes e discentes na i a Oficina 
do Projeto Pedagógico do curso, realizada no dia 01/10/2002. O do- 
cumento é estruturado em quatro capítulos: (I) caracterização da 
instituição e atividades desenvolvidas no curso; (II) caracterização 
do curso, perfil esperado do egresso e as competências, habilidades 
e vivências trabalhadas no curso para compor esse perfil; (III) organi- 
zação da estrutura curricular em seus aspectos gerais, integralização 
curricular, atividades complementares e; (IV) Avaliação institucional 
docente e discente. 

O capítulo II faz referência a uma formação que evidencia os va- 
lores éticos, reafirmando a intenção de buscar estimular nos alunos 
0 desenvolvimento de um comportamento que esteja em sintonia 
com esses valores. 

Propõe ainda uma valorização da dimensão humana, na medida 
em que sugere como competências a serem adquiridas pelos alunos 
situarem-se como sujeitos de sua aprendizagem, compreendendo- 
se como um ser social, ativo e historicamente situado e que, além 
disso, reconheça a pessoa “em cuidado” como um ser biopsicossocial. 
Na proposta de avaliação, sugere que o aluno deve ser analisado 
de forma integral, em sua relação com 0 grupo, com os pacientes 
e com as disciplinas. 

Em relação ao perfil de profissional a ser formado no curso, a 
proposta foi construída de acordo com as DCN: 

Formar um Cirurgião-Dentista generalista, com valores éti- 
cos, sensibilidade social, capaz de atender às necessidades 
mais prevalentes da população. Cientificamente preparado 
para realizar o diagnóstico, o planejamento e a execução de 
procedimentos preventivos e curativos, capacitado a utilizar 
tecnologias e a trabalhar em equipe. 


Essa dimensão é também contemplada quando o documento 
propõe a aquisição, por parte dos alunos, das seguintes habilidades: 
comunicação e interação com 0 paciente, trabalhadores da área de 
saúde, grupos de indivíduos e organizações; e aquisição de conheci- 
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mentos para solucionar problemas clínicos que sejam do interesse 
do indivíduo e da comunidade. 

Nessa última proposição os indivíduos e/ou comunidade devem 
conhecer tais problemas, desejar resolvê-los e consentir com as 
soluções propostas. Isso implica que os conhecimentos mobilizados 
não devam ser apenas técnicos, mas também aqueles que envolvam 
a comunicação e os princípios da Bioética, nesse caso, o princípio 
da autonomia. 

No capítulo III quando são apresentados os três tipos de conteúdos 
essenciais para a formação do perfil desejado, o documento se refere 
a “[...] conteúdos complementares voltados para ampliar o leque de 
conhecimentos correlatos e permitir uma melhor formação ética, 
humanística e intelectual”. 

Ao referir-se à abrangência dos três eixos teóricos e/ou práticos 
das diversas áreas, é evidenciado que nas matérias de Ciências Sociais 
e Odontologia em Saúde Coletiva são trabalhados conteúdos que 
visam compreender os determinantes sociais, culturais, compor- 
tamentais, psicológicos, antropológicos, ecológicos, éticos e legais, 
nos níveis individual e coletivo do processo saúde-doença. 

A Central de Atendimento ao Paciente, elemento chave na orga- 
nização de um atendimento humanizado com base no acolhimento, 
informação, triagem, agendamento e acompanhamento dos usuários, 
a despeito de ter sido criado em 1996, é reconhecida no próprio do- 
cumento como um serviço que enfrenta dificuldades. Entretanto, ao 
reconhecer essa fragilidade, os participantes da i a Oficina do Projeto 
Pedagógico do curso compuseram uma comissão para real iz ar um 
diagnóstico da situação e encaminhar propostas no sentido de sua 
reestruturação. 

O documento se refere à criação de uma Comissão de Ética em 
Pesquisa do próprio curso que se encontra em processo de creden- 
ciamento. Esta é uma iniciativa importante para a formação ético- 
humanística dos alunos, visto que, ao submeter os seus projetos de 
pesquisa à análise dessa comissão, eles devem sempre estar atentos 
para a dimensão do cuidado com os sujeitos participantes. 

Estruturalmente, o projeto pedagógico do curso privado tem 
uma apresentação inicial onde traz uma perspectiva mais ampla 
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da instituição na qual o curso de Odontologia está inserido. Esta é 
seguida de uma apresentação específica do curso que contempla; (1) 
a introdução na qual descreve um histórico da profissão; (2) a justifi- 
cativa da necessidade social de implantação do curso na Bahia a qual 
se remete a um extenso marco teórico; (3) a proposição de trabalhar 
com ensino (graduação e pós-graduação), pesquisa e extensão; (4) os 
objetivos do curso, tendo como base as DCN; (5) os aspectos gerais 
de organização do curso; e (6) 0 sistema de avaliação (institucional, 
docente e discente). Os programas das disciplinas disponibilizados 
para análise foram atualizados no segundo semestre de 2004. 

Ao referenciar a visão que a instituição tem de educação e a sua 
missão dentro de um contexto social, 0 projeto pedagógico do curso 
se apoia, dentre outros conceitos, na ideia de educação voltada 
para 0 desenvolvimento do ser humano. Confirma essa tendência 
quando, na fundamentação teórica, toma como referência a pers- 
pectiva humanista, destacando uma preocupação com 0 homem 
individual e coletivo. 

Assim, ao descrever a estrutura curricular, 0 documento evidencia 
que os aspectos relativos à promoção de saúde e formação humanística 
serão estruturados nas diversas disciplinas e constituir-se-ão no 
referencial filosófico de ensino-aprendizagem do curso (grifos do 
documento). 

O perfil de profissional a ser formado pelo curso aparece diluído 
em vários tópicos (proposição, objetivos gerais e objetivos específi- 
cos) do projeto pedagógico. Dada a grande extensão dos enunciados, 
selecionamos 0 texto abaixo que explicita bem esse perfil: 

[...] formar profissionais Cirurgiões-Dentistas com sólidos 
conhecimentos técnico-científicos e da realidade objetiva 
e concreta do meio social, econômico e cultural onde irão 
exercer a sua profissão, plenamente conscientizados das suas 
responsabilidades e do seu papel como agentes de saúde, onde 
as reflexões éticas deverão ser as determinantes dos seus 
comportamentos e das suas decisões; além da visão social, 
científica e técnica da profissão, o Curso deverá estimular a 
formação humanista do aluno para melhor complementar o 
seu relacionamento com o paciente e a sociedade. 
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0 documento evidencia que o curso dispõe de um apoio peda- 
gógico que propõe um acompanhamento discente constituído por 
professores orientadores que, através de um trabalho tutorial, farão 
o papel de elementos facilitadores da atividade acadêmica. Essa ativi- 
dade conta com a assessoria de professores de pedagogia e psicologia. 
Esta é uma iniciativa que valoriza a dimensão ético-humanística da 
formação por viabilizar um acompanhamento mais individualizado 
do aluno, possibilitando a emergência dos determinantes pessoais 
que interferem na sua formação. 

A proposta de avaliação da aprendizagem referencia que esta deve 
se apoiar em uma postura humanista, tomando a avaliação como 
um instrumento de crescimento e aperfeiçoamento do ato educativo, 
deixando de ter um caráter punitivo e discriminatório. 

Em relação ao corpo docente, o documento propõe que este deve 
considerar o aluno como sujeito, com individualidade e senso crítico, 
ajudando-o a superar eventuais dificuldades e preocupando-se com 
a formação geral e humanística dos alunos, dando ênfase ao bem- 
estar das pessoas. 

Na análise dos programas das disciplinas buscamos verificar em 
todos os itens da sua estruturação (ementa, objetivos, conteúdos e 
avaliação), se existiam unidades de registros (palavras, frases) que 
explicitassem a intenção dos professores de trabalharem a dimensão 
ético-humanística. Desse modo, o Quadro 1 sintetiza os resultados 
encontrados para ambos os cursos, explicitando que, dos 113 pro- 
gramas analisados, 38,1% contemplam essa dimensão, sendo que 
esta proporção é menor para 0 curso público (32,1%) quando este é 
comparado ao curso privado (43,3%). 


Disciplinas por curso 

Curso Público 

Curso Privado 

Total 

Dim. Ético-hum. 

Freq. 

(%) 

Freq. 

(%) 

Freq. (%) 

Explicitam 

17 

32,1 

26 

43,3 

43 (38,1) 

Não explicitam 

36 

67,9 

34 

56,7 

70 (61,9) 

Total 

53 

100.0 

60 

100.0 

113 (100.0) 


Quadro 1 - Frequência e porcentagem de disciplinas dos cursos público e privado 
que explicitam ou não a intenção de trabalhar a dimensão ético-humanística. 
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As disciplinas básicas (biológicas) e pré-clínicas foram as que 
menos registraram essa intenção, sendo essa mais explicitada pe- 
las disciplinas das áreas de Ciências Humanas e Saúde Coletiva e 
algumas disciplinas clínicas, com destaque para a Odontopediatria 
e para a Dentística. 

Com base nesses registros, consideramos que os projetos pedagó- 
gicos de ambos os cursos têm uma intencionalidade de contemplar a 
dimensão ético-humanista da formação, sendo que o curso privado 
a explicita mais frequentemente, tanto na estruturação do projeto 
como nos programas das disciplinas. 

No projeto pedagógico do curso público, essa menor evidência 
pode ser explicada por duas razões: primeiro, porque é um docu- 
mento mais sucinto (objetivo), segundo, pelo fato de que muitos dos 
programas das disciplinas encontram-se desatualizados, podendo 
não estar reproduzindo o que, de fato, vem sendo trabalhado, uma 
vez que nos discursos dos sujeitos envolvidos no estudo fica bem 
evidente que essa dimensão está sendo valorizada. 

Ao discutir a humanização da educação em Odontologia, Moysés 
(2003, p. 93) acena que: 

[...] embora alguns projetos pedagógicos, recentemente, 
incorporem essa dimensão legal, política e social, isso não 
corresponde automaticamente à práxis das instituições, no 
que se refere, tanto à sua programação curricular, quanto à 
sua reprodução ideológica subjacente, que continua privile- 
giando a formação de um profissional para a prática liberal 
tradicional e para o atendimento de elites econômicas. 


Desse modo, há uma distância entre 0 que está escrito nas dire- 
trizes e nos projetos pedagógicos dos cursos e a formação prática 
do profissional, especialmente da saúde, em que os saberes técnicos 
acabam sobrepujando os saberes éticos e humanos. (COSTA, 2007) 
Essa valorização da dimensão ético-humanista, ainda que possa 
parecer uma novidade proclamada pelas DCN e recentemente pelos 
projetos pedagógicos dos cursos, de fato, não 0 é, uma vez que essas 
“inovações” já vêm sendo propostas há décadas. Paixão (1979, p. 5), 


138 MARIÃNGELA SILVA MATOS & ROBINSON TENÓRIO 


ao descrever os objetivos da FOUFMG, formulados em 1968, cita que 
uma das características do cirurgião-dentista que 0 curso pretendia 
formar era que este tivesse 0 paciente como uma unidade biopsicos- 
social, de modo a praticar uma odontologia humanística. 

O que se observa, entretanto, é que essas propostas têm sido mais 
discutidas e capilarizadas no âmbito dos cursos de Odontologia, seja 
por meio de oficinas que foram sendo realizadas em vários cursos 
públicos e privados do país, em uma parceria da ABENO com 0 MEC, 
ou mediante iniciativas das próprias instituições que têm buscado 
atualizar-se em atenção às DCN para se organizarem com vistas às 
avaliações institucionais. 

É pertinente reforçar os limites do instituído porque, segundo Vas- 
concellos (2002, p. 16), entre 0 sistema educacional - normalmente 
propulsor de reformas - e a prática das escolas nas quais se esperam 
que as reformas aconteçam, existe sempre a dimensão intermediária 
(meso) da escola. Ainda assim, essa capilarização é positiva porque, 
nesses processos de reflexão, alguns sujeitos podem ser sensibiliza- 
dos a promover mudanças em direção a uma formação que equilibre 
as dimensões técnica e ético-humanística. É a possibilidade de que 
pequenas brechas possam ir se abrindo, mudando, paulatinamente, 
0 discurso e (re)significando as práticas, dentro das possibilidades 
de cada contexto histórico, institucional e pessoal dos sujeitos que 
fazem 0 cotidiano dos cursos. 

PERCEPÇÃO DOS ALUNOS ACERCA DO ESTÍMULO 
À DIMENSÃO ÉTICO-HUMANÍSTICA 

Dos 337 alunos que receberam 0 questionário, 283 (84,0%) fizeram a 
devolução, sendo que 0 curso público apresentou maior proporção 
de recusa (22,7%) quando comparado ao curso privado (9,1%). 

Quando solicitados a avaliarem se 0 curso estimula a dimensão 
ética, quase 100% dos alunos respondem que sim e mais da metade 
deles (52,7%) identificam esse estímulo na maioria das disciplinas. 
No curso público, uma maior proporção de alunos (66,1%) percebem 
este estímulo na maioria das disciplinas quando comparados aos do 
curso privado (49,7%). 
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Na análise por subgrupos, quando os alunos do curso privado 
estão em estágios mais avançados da formação eles tendem a per- 
ceber mais essa dimensão sendo trabalhada em todas as disciplinas 
(PvGi - 36,8%; PvGa - 48,2%; ÍVG3 - 50%). Já no curso público, curio- 
samente, uma proporção maior de alunos (40%) do Gi percebe esse 
estímulo em todas as disciplinas quando comparados ao G2 (31%) e 
G3 (32,1%). A curiosidade está no fato de que, até essa fase do curso 
(4°/5° semestres), a maioria das disciplinas cursadas foi da área Básica, 
a qual, tradicionalmente, aborda pouco essa questão. Uma possível 
explicação é a emergência da ética na pesquisa envolvendo seres 
vivos, fazendo com que os alunos, de fato, possam estar entrando 
em contato com questões éticas desde 0 início do curso. 

No estudo de Amorim (2002) realizado na FOUFRN, a autora re- 
gistrou que falta ao ensino da ética 0 caráter de transversalidade, 
uma vez que essa temática é trabalhada em uma disciplina do 8 o 
semestre. Esta, por sua vez, assume uma abordagem apenas de 
caráter deontológico, determinando uma concepção normativa da 
ética presente na formação do odontólogo. 

Os resultados do presente trabalho já revelam mudanças impor- 
tantes nos cursos analisados, uma vez que a proposta do MEC é con- 
siderar a ética como um tema transversal nos projetos pedagógicos. 
Ao justificar as respostas referentes ao estímulo da dimensão ética, 
os alunos registram essa transversalidade, entretanto mencionam 
uma lacuna entre a teoria e a prática: 

O enfoque dado à beneficência e não maleficência, à ética e 
ao bem estar está consolidado, pois desde o início do curso 
o assunto vem sendo abordado (aluna do curso privado, n° 
171, 21 anos, 7 o semestre). 

Em quase todas as disciplinas os professores passam essas ca- 
racterísticas, mas o que ocorre muitas vezes é que na prática 
alguns professores agiam diferente do que era dito na teoria 
(aluna do curso público, n° 124, 23 anos, 9 0 semestre). 

A partir da maioria dos depoimentos foi possível reconhecer 
quatro abordagens feitas pelo grupo: (1) eles percebem a importância 
dessa dimensão na formação acadêmica e reconhecem que 0 curso 
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a valoriza; (2) eles evidenciam em suas falas conhecimentos acerca 
dos princípios da Bioética; (3) eles reconhecem que a maioria das 
disciplinas e dos professores se preocupa com essa dimensão da 
formação e aborda temas relativos à ética, tanto na teoria como 
na prática. Entretanto, muitos alunos destacam que determinadas 
disciplinas e professores têm um compromisso maior com esses 
temas; (4) ainda que a maioria dos alunos reconheça que estes são 
temas evidenciados pelos professores, muitos deles denunciam a 
falta de ética por parte de alguns. 

Quando se trata da percepção sobre 0 estímulo à dimensão hu- 
mana no curso, a quase totalidade dos alunos (99,6%) acredita que 
são estimulados a desenvolverem essa dimensão e uma elevada 
proporção de alunos (77,9%) acredita que esse estímulo acontece ou 
em todas as disciplinas (23,1%), ou na maioria delas (54,8%). 

Ao justificar essa resposta, os alunos trazem depoimentos que suge- 
rem que os cursos têm estimulado a dimensão humana da formação: 

Os professores nos orientam de maneira clara, desde o início 
do curso, que devemos, antes de executar um procedimento, 
agir de acordo com os princípios éticos que regem a profissão, 
além de propiciar um atendimento humanizado (aluno do 
curso público, n° 125, 25 anos, 10 o semestre). 

Apesar de alguns professores ainda não terem demonstrado 
trabalhar dando importância ao paciente, a maioria não age 
dessa forma, o respeito ao paciente como ser humano, ainda 
é mais valorizado (aluna do curso privado, n° 240, 27 anos, 
10 o semestre). 

A despeito disso, as falas também evidenciam que, além do discur- 
so ético-humanístico não estar consolidado nos cursos de uma forma 
transversal, muitas vezes a prática não corresponde ao discurso. 

PERCEPÇÃO DOS PROFESSORES ACERCA DO 
ESTÍMULO À DIMENSÃO ÉTICO-HUMANÍSTICA 

Quando foi perguntado aos professores se eles se percebiam estimu- 
lando a dimensão ética e humana na formação dos alunos, a grande 
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maioria deles acredita que está exercendo esse papel. Essa autoper- 
cepção dos professores coincide com as respostas dos alunos quando 
quase 100% destes percebem esse estímulo em sua formação. 

No estímulo à dimensão humanista aparece, com frequência, 
nos depoimentos uma compreensão dessa dimensão que remete 
ao cuidado, ao acolhimento e ao vínculo, sendo que, segundo eles, 
algumas habilidades são requeridas dos profissionais para uma atu- 
ação dentro desses princípios, tais como: saber escutar; saber lidar 
com sentimentos (habilidade emocional); compreender as limitações 
socioeconômicas dos pacientes; estar atento e respeitar a dor do 
paciente, seja ela física ou emocional; e ter paciência, cordialidade, 
tolerância, carinho, afeto e respeito pelo paciente. Essa perspecti- 
va de humanização que os professores trazem é apresentada por 
Sgreccia (2002, p. 111): 

Fala-se hoje de “humanização da medicina”, mas sob este 
termo se escondem conceitos diversos [...] há quem entenda 
essa expressão como a importância da relação intersubjetiva 
entre o paciente e o pessoal da saúde diante da invasão da 
tecnologia ou da massificação dos hospitais; há quem a en- 
tenda como a introdução dos estudos humanísticos, especial- 
mente da psicologia, nos planos de estudo das Faculdades de 
medicina; mas, o significado mais profundo dessa tendência 
[...] consiste no reconhecimento da dignidade de pessoa em 
todo ser humano. 

No estímulo à dimensão ética, a compreensão para a maioria dos 
professores é quase que exclusivamente centrada na ética principia- 
lista. Eles citam os princípios da bioética, enriquecidos de exemplos 
que enfatizam as formas pelas quais eles buscam concretizar na 
prática esses princípios, ainda que este não seja um conteúdo formal 
das suas disciplinas. A despeito das manifestações de cumprimento 
desses princípios, as dificuldades diante dos dilemas éticos e os 
equívocos cometidos são evidenciados: 

[...] no ambulatório é uma atuação onde existe uma imposi- 
ção deles, né, dos alunos, onde a autonomia do paciente tá 


142 MARIÂN GELA SILVA MATOS & ROBINSON TENÓRIO 


comprometida, onde a beneficência, de uma forma geral, é 
comprometida porque o beneficio ao paciente às vezes não é 
pra o paciente, é para o aprendizado do aluno. (Professor do 
curso privado, mestre em Deontologia e Odontologia Legal) 

Os referenciais que os professores usam para estimular os alunos 
em relação ao desenvolvimento da dimensão ético-humanística da 
formação são aqueles, também, relatados no discurso dos alunos, 
ou seja, fidelização da clientela, se proteger de problemas jurídicos, 
valorização do ser humano e conseguir alcançar a confiança do 
paciente e a sua adesão ao tratamento. 

Ao se referir às suas tentativas de trabalhar essas dimensões, mui- 
tos professores revelam o quanto é complexo educar o aluno nesse 
sentido. Segundo eles, é preciso uma vigilância constante nas ativida- 
des clínicas para conseguir um certo “controle” dos deslizes e infra- 
ções cometidos, do desejo excessivo de executar procedimentos que 
desejam aprender, muitas vezes, ferindo os princípios bioéticos. 

A gente procura sempre referenciar isso [...] criticar , né, algumas 
posturas, a gente sempre tá vigiando o que tá acontecendo, 
infelizmente, isso é notório, a gente não consegue ter vigilância 
100% nos alunos porque são 6o pessoas, 6o alunos dentro de 
um ambulatório, não há professores suficientes pra ter uma 
vigilância constante, né, a gente vai passando, olhando, mas, 
infelizmente, acontecem colocações erradas de vocabulários, né, 
palavras mal colocadas e até procedimentos não tão éticos, não 
tão indicados. (Professor do curso privado, mestre em Prótese) 

Esse depoimento traz uma reclamação frequente dos professores, 
no que se refere à dificuldade de acompanhar todos os alunos nos 
atendimentos, pela própria dinâmica dos ambulatórios: demandas 
técnicas, problemas de instalações e de recursos materiais, número 
de alunos, entre outros. Para muitos deles, sobretudo os do curso 
privado, uma das maiores dificuldades enfrentadas nesse sentido, 
é a proporção desfavorável na relação professor/aluno nos módulos 
de práticas. 
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Na manifestação que se segue emerge o problema contemporâneo 
da sociedade, no que se refere às perdas de valores éticos e humanos. 
Ao refletir sobre essa questão, a professora de Saúde Coletiva chama 
a atenção para a dificuldade que os professores dessa área têm de 
fazer valer o seu discurso com base nesses valores: 

[...] A gente é capaz de formar esse profissional cuidador, se ele 
é capaz de não ver apenas restauração e curativos e sim o ou- 
tro que vai receber um cuidado que merece esse cuidado geral 
[...] Esse discurso nosso, muitas vezes, se perde na dimensão 
técnica que ele não dá muita atenção nesse momento ainda, 
a essa dimensão humana, sabe, essa dimensão tão profunda 
que é [...]. Mas assim... como tá uma transformação ainda em 
curso, ele não se dá conta da riqueza desses comentários. A 
gente tem a dificuldade de usar esse discurso aí do ético- 
humanista, isso perdeu o valor, não é mais valor social ser 
humano ou ser ético e aí você vai por outros caminhos pra 
chegar nisso, você vai pela atenção, você vai por tecnologias 
preventivas, você vai pelo controle social, pela democracia, 
você não vai pelo aspecto que é o central. (Professora do curso 
público, doutora em Saúde Pública) 

Ao se dar conta da dificuldade de mobilizar os alunos usando 
como referência os valores éticos e humanos, por si só - o que talvez 
possa trazer embutida a ideia de um “discurso piegas” - a professora 
sugere o uso de um discurso científico que possibilite a emergência 
dessas dimensões, de modo que essas possam ser trabalhadas nas 
entrelinhas do processo educativo. 

Essa é uma alternativa, entretanto, é necessário vencer o pre- 
conceito de que nas universidades só se deva discutir tecnociência, 
até porque a própria ciência na área de saúde tem exigido, cada vez 
mais, o aprendizado sobre os sentimentos e emoções dos pacientes 
e dos próprios profissionais. 

Ao analisar a voz dos professores, fica claro que existe uma valori- 
zação relativa às questões éticas e humanas na formação profissional, 
entretanto, emergem em seus discursos inúmeras dificuldades pes- 
soais e organizacionais de lidar com essas questões. Em vista disso, 
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parece necessária a promoção de debates nessa área, no sentido 
de produzir reflexões que ajudem os professores a conduzir essa 
dimensão da formação dos alunos com bases mais sólidas do que 
apenas o desejo e a intuição. 

OBSERVAÇÃO PARTICIPANTE 

É na prática clínica que o futuro profissional aprende, exerce ações, 
assimila condutas e adquire hábitos. Dessa maneira, os ambulató- 
rios se tornam espaços privilegiados, não só para o aprendizado 
técnico, mas também para o exercício da reflexão ética dos futuros 
profissionais. (GONÇALVES; VERDI, 2007, p. 756) 

Lamentavelmente, o ambulatório do curso público, no qual a 
observação foi conduzida apresentava condições precárias de instala- 
ções e equipamentos. Diante dessas dificuldades, ficava evidenciado 
0 quanto tais condições comprometiam 0 aprendizado dos alunos 
e 0 atendimento “cuidadoso” aos pacientes. 

Referente às instalações e à organização da demanda, 0 curso 
privado oferecia condições mais favoráveis, tanto para 0 aprendizado 
dos alunos como para uma atenção ao usuário mais resolutiva e mais 
humanizada, principalmente no que diz respeito ao acolhimento e 
às condições de biossegurança. 

A ambiguidade que envolve esses registros é que, se por um lado, 
os alunos do curso público enfrentam muitas deficiências que com- 
prometem em alguns sentidos a sua formação e a atenção aos usuá- 
rios, por outro, algumas dessas deficiências abrem espaços de diálogo 
entre os alunos e os usuários. Essa comunicação maior é também 
estimulada pelo fato de eles atenderem sozinhos e não em dupla. 

Já no curso privado, a despeito dos alunos terem mais condições 
de executarem os procedimentos técnicos eles se mantêm mais en- 
volvidos com isso e desenvolvem menos a habilidade comunicativa 
com os pacientes. Isso é agravado pelo fato dos alunos trabalharem 
em dupla, uma vez que eles conversam muito entre si, excluindo 
0 paciente do contexto comunicativo. Isso não quer dizer que no 
curso público não ocorra esse tipo de transgressão, mas ela ocorre 
com menor frequência. 
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Em ambos os cursos, a atenção com a biossegurança varia de 
aluno para aluno, alguns são aparentemente bem cuidadosos, outros 
negligenciam esses cuidados. Esse comportamento perpassa pelo 
desenvolvimento da dimensão ético-humanística do aluno, uma vez 
que ambos os cursos trabalham os conteúdos teóricos acerca dessa 
temática. O aluno que burla a biossegurança, expondo os usuários a 
riscos de contaminação, o faz não por desconhecimento das técnicas 
e dos riscos, mas pela falta de valor atribuído ao “cuidado” com o 
ser humano e com a ética profissional. 

No que se refere à observação de situações que evidenciam pre- 
juízos ao paciente ou o não cumprimento do princípio bioético da 
não-maleficência (erros profissionais), salvo aqueles referentes à 
biossegurança, foram poucas as observações feitas no ambulatório e, 
curiosamente, em nenhuma delas houve uma tentativa de aproveitar 
as situações para refletir com o aluno o problema e a sua solução do 
ponto de vista ético. Isso evidencia o que, segundo Corrêa (1997, p. 2), 
é uma preocupação filosófica antiga, ou seja, de que nem sempre 
existe uma harmonia entre a ética ensinante ( ethica docem) e a ética 
praticada ( ethica utens ). 

Muitos professores, ao orientar os alunos, sequer se dirigem 
ao paciente para cumprimentá-lo, dão as explicações pertinentes 
ao procedimento técnico ou fazem intervenções diretamente na 
boca dos pacientes, referindo-se a estes, quase sempre, na terceira 
pessoa como se eles estivessem ausentes do contexto. Essa conduta 
evidencia a “objetualização” do paciente, caracterizando-o como 
mais um instrumento de ensino, um exemplo captado para a vida 
profissional, conforme registrado por Unfer (2000, p. 107). A autora 
revela que um dos aspectos que mais chamou a sua atenção na fala 
dos dentistas entrevistados em seu trabalho foi a maneira como 
eles se referem aos usuários dos serviços públicos, ou seja, como 
“fichas de atendimento”, denotando um sentido material totalmente 
desvinculado do ser humano que busca 0 atendimento. 

Muitos dos alunos não sabem aproveitar a anamnese para co- 
nhecer os pacientes, esse momento acaba sendo rotinizado, muitas 
vezes desprezando-se registros importantes que os pacientes deixam 
escapar em suas tentativas de deixar-se conhecer. Para Souza (2004, 
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p. 210), 0 problema reside no fato de que para os médicos é impor- 
tante apenas ouvir aquilo sobre 0 qual eles podem intervir através 
do conhecimento médico, não sendo casual, portanto, que uma das 
mais corriqueiras lições dadas no ambulatório é mostrar indiferença 
para com os problemas “pessoais” dos pacientes. 

As informações subjetivas, as pistas dadas por eles sobre o seu 
estado emocional, problemas sociais ou problemas de saúde que, 
mesmo não tendo relação direta com a “saúde bucal”, os desestrutu- 
ram emocionalmente são deletadas por muitos alunos. Alguns deles, 
inclusive, não sabiam sequer 0 nome do paciente que iria atender 
ou estavam atendendo. 

Alguns episódios registrados nos ambulatórios evidenciam a falta 
de sensibilidade de alguns professores e alunos de compreenderem 
a dimensão emocional dos pacientes, de modo que eles mascaram 
essa incompreensão por meio de brincadeiras. Ao observar situa- 
ções de atendimento médico em um ambulatório de cardiologia, 
Souza (2004, p. 210-213) revela que foram inúmeras as lições de 
indiferença e insensibilidade que assistiu e que muitos médicos, 
ignorando as aflições dos pacientes, contavam as suas histórias em 
tom de zombaria. 

Ao analisar a percepção de dentistas do sexo feminino do Serviço 
Público Odontológico da Suécia acerca do trabalho em saúde, Hjal- 
mers, Sõderfeldt e Axtelius (2006) registraram que os profissionais 
comprometidos com questões morais percebem uma grande dife- 
rença entre o ideal e o real, no que se refere aos valores morais que 
norteiam os processos de trabalho em saúde. 

No presente estudo, a prática avaliada nos ambulatórios sofre 
diversas influências para emergir, muitas vezes, diferente da imagem 
idealizada pelos sujeitos envolvidos na pesquisa. Dentre essas influ- 
ências, destacam-se: as limitações pessoais de alunos, professores 
e usuários e as dificuldades materiais (principalmente no curso 
público), institucionais (número de professores, organização da 
unidade de triagem, limites na organização das disciplinas) e sociais 
(dificuldade de acesso pela demanda reprimida). O desafio, então, é 
compreender essas limitações e fazer um exercício diário de apro- 
ximação entre a teoria e a prática. 
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Nesse sentido, Vasconcellos (2002) explicita que mudar a prática 
educativa implica alterar concepções enraizadas e, sobretudo, en- 
frentar a “roda viva” já existente. Segundo 0 autor, é exatamente no 
momento dessa tentativa de mudança que se evidencia a fragilidade 
das nossas teorias e da nossa organização. Isso quer dizer que existem 
outros condicionantes que não apenas 0 teórico para a emergência 
das nossas práticas. Nesse caso, 0 papel da teoria deve ser apontado 
como um meio de captar os determinantes e 0 movimento do real, 
para nele intervir. 

Ainda que tenha sido observado nos comportamentos de muitos 
alunos e professores uma predisposição para lidar com os pacientes 
de uma forma cuidadosa, as observações do cotidiano das clínicas 
revelam, em muitos momentos, que os valores éticos e humanos, tão 
evidenciados nos discursos desses sujeitos, parecem ainda apresentar 
algumas brechas que precisam ser apontadas, refletidas e (re)signifi- 
cadas para que a dimensão ético-humanista da formação, aos poucos, 
possa se deslocar da intenção ao gesto. Nesse sentido, avaliações 
internas de contexto tornam-se instrumentos fundamentais para a 
reflexão crítica da prática e para a busca do seu aperfeiçoamento. 


CONSIDERAÇÕES FINAIS 

É preciso avaliar a que distância a escola se encontra do horizonte 
almejado, ou seja, fazer um diagnóstico da realidade para definir, 
por meio da programação, os passos a serem dados no sentido de 
diminuir essa distância. (VASCONCELLOS, 2002, p. 27) 

Na análise dos projetos pedagógicos dos cursos, está claro que 
estes explicitam 0 desejo de formar profissionais com referenciais 
ético-humanísticos consistentes. Do mesmo modo, alunos e profes- 
sores têm a percepção de que essa dimensão vem sendo trabalhada 
nos cursos. Entretanto, o confronto com a realidade dos ambulató- 
rios acena para uma prática carente de reflexões e mudanças, tanto 
das condições de trabalho (sobretudo no curso público) como de 
posturas relacionais mais qualificadas, num esforço de diminuir 
a distância entre o instituído e o instituinte. Nesse sentido, este 
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trabalho pode ser um instrumento de reflexão útil para ambos os 
cursos analisados. 

Ainda que os professores relatem estar trabalhando a dimensão 
ética no cotidiano dos ambulatórios, muitos revelam as dificuldades 
e tentativas frustrantes para concretizar a intenção de formar profis- 
sionais com valores éticos. Para eles, muitos alunos são refratários 
a essas mensagens, de modo que, os valores construídos ao longo 
de suas vidas, destacadamente, no âmbito familiar, são importantes 
determinantes nas atitudes assumidas. Assim, eles revelam as suas 
limitações em contribuir com a formação de alguns alunos em sua 
dimensão ético-humanística. 

A despeito disso, é fundamental a implementação de projetos 
que criem um clima favorável ao desenvolvimento de valores e 
compromissos desejados na formação profissional (LUCAS, 1995), 
é necessário transformar e implantar novos currículos, incluir de 
forma transversal, temas ligados à ética, ao acolhimento e à huma- 
nização, que despertem a sensibilidade social no aluno. É preciso 
investir na formação de professores, os maiores responsáveis pelas 
transformações almejadas e sem os quais nenhuma mudança ocorre- 
rá, ainda que se elaborem mil novas diretrizes e mil novos projetos 
pedagógicos. (COSTA, 2007) 

Ainda que tenha sido evidenciada uma lacuna entre 0 ideal desse 
“novo” discurso e o real do cotidiano dos ambulatórios, o estudo 
revela que a formação profissional vive uma fase de transição entre 
a histórica hegemonia da tecnociência e a busca do equilíbrio entre 
as duas dimensões, a técnica e a ético-humanística, compreendendo 
ambas como imprescindíveis para a caracterização de um perfil 
profissional competente. 

PISTAS PARA BALIZAR AS ATITUDES DE 
PROFESSORES E ALUNOS NUMA PERSPECTIVA 
DE FORMAÇÃO ÉTICO-HUMANÍSTICA... 

• Respeitar, compreender e dar continência aos medos, anseios, 
angústias e desejos dos pacientes. 

• Evitar “brincadeiras perversas”, com os pacientes com suas 
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histórias de vida e contextos de atendimento. 

• Dirigir-se, antes, à “pessoa” do paciente e não à sua boca - 
cumprimentar, chamar pelo nome, dialogar, olhar no olho, 
tocar com delicadeza. 

• Valorizar a história de vida e as informações registradas nos 
prontuários, remetendo-se a elas para compreender melhor 
as atitudes dos pacientes. 

• Agir de modo que o seu aprendizado técnico, jamais, se so- 
breponha às necessidades do paciente. 

• Dialogar com os pacientes, estabelecer uma verdadeira co- 
municação com eles, transformar a anamnese em uma “pro- 
sa” que promova vínculos e não em registros impessoais e 
inférteis. 

• Sensibilizar-se em relação às dificuldades financeiras, de 
deslocamento e de negociações no trabalho enfrentadas 
pelos pacientes. Nesse sentido, a despeito da dinâmica dos 
ambulatórios, buscar atender os pacientes dentro do horá- 
rio programado ou dar uma satisfação em casos de atraso 
ou, ainda, se comunicar com os pacientes em casos de não 
comparecimento. 

• Diante de situações de erros (maleficência), jamais perder a 
oportunidade de refleti-los em sua dimensão ético-humanís- 
tica, já que, habitualmente, a maior preocupação é com a 
dimensão técnica. 

• Fazer um esforço diário de não “objetualizar” os pacientes. 

• Evitar conversas paralelas. O paciente, durante o atendimento, 
deve ser o centro da atenção do aluno. 

PARA FINALIZAR... 

Não existe nada de extraordinário em trabalhar a nossa dimensão 
ético-humanística. Esse estímulo deve ser um exercício diário... Não 
são apenas palavras, são ações... 

Basta apenas ser cuidador... 
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Basta apenas transformar os atendimentos em encontros humanos, 
onde o homem-dentista cuida do homem-paciente... 

Basta apenas dar resolutividade às necessidades dos pacientes, aco- 
lher os seus desejos, sem negar a realidade... 

Basta apenas estimulá-los a pensar que o acesso ao atendimento 
público não é um privilégio, mas um direito constitucional de cada 
cidadão brasileiro... 

Basta apenas tratar pelo nome, olhar nos olhos, tocar com carinho 
e respeito, fazer uma escuta sensível do “ mundo da vida” que os 
pacientes trazem para o atendimento... 

Basta apenas não separar os pacientes por classes sociais e econô- 
micas - “os que nós atendemos aqui e os que vamos atender em 
nossos consultórios” - porque, indistintamente, todos são cidadãos, 
merecedores e dignos da nossa atenção e cuidado. 
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INTRODUÇÃO 

Educação é universalmente vista como o principal determinante da 
formação de capital humano (WOESSMANN, 2003) e, por conseguinte, 
um investimento-chave para a promoção de bem-estar a indivíduos e 
nações. (HANUSHEK; WOESSMANN, 2007) Educação é também vista 
como um direito humano básico ao qual todo cidadão deveria ter 
acesso (THOMAS; WANG; FAN, 2000), bem como um meio através do 
qual seja possível alcançar condições de vida tidas como melhores 
(NERI, 2007), e outras liberdades e realizações a que toda pessoa 
tem 0 direito e as razões de aspirar. (SEN, 2000) Assim, educação é 
valorizada tanto como um investimento tanto quanto um direito. 

Em ambos os aspectos, a forma como a educação é distribuída 
dentro de uma sociedade desempenha papel fundamental. Como um 
investimento, é tratada como uma commodity capaz de impulsionar os 
padrões econômicos de nações e indivíduos. Sem embargo, tal papel 
é limitado quando há desigualdades de acesso. Uma vez que educação 
não é um bem perfeitamente comerciável, sua função de produção 
agregada dependeria não apenas do seu nível médio de consumo, 
mas também de como esse consumo é distribuído entre a população 
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- tendo em vista que, considerando as habilidades humanas como 
normalmente distribuídas em uma dada população, uma distribuição 
enviesada das oportunidades educativas representa uma grande perda 
de bem-estar para aquela sociedade. (THOMAS; WANG; FAN, 2000) 
Consequentemente, quando parâmetros de equidade são negligencia- 
dos em políticas educacionais, os estoques de capital humano tendem 
a ser deficientes, comprometendo 0 bem-estar econômico. 

Como um direito, educação deveria ser igualmente acessível 
a todos. Entretanto, a escassez de recursos impõe escolhas tanto 
a indivíduos quanto a formuladores de políticas públicas. Assim 
sendo, tende-se a estabelecer padrões m í nimos de educação a que 
todo cidadão deveria ter irrestrito acesso. Tais padrões, contudo, 
estão situados em contextos históricos, sociológicos, culturais e eco- 
nômicos que tendem a mudar à medida que as sociedades evoluem. 
Por exemplo, os Objetivos de Desenvolvimento do Milênio focam 
na universalização da educação primária como um padrão mínimo 
a ser alcançado por todos os países nos primeiros 15 anos do século 
21. Quando esse padrão for alcançado, é provável que desigualdades 
educacionais observadas em outros níveis ou aspectos sejam então 
percebidas como objeto de necessária intervenção de políticas pú- 
blicas para garantir a educação como direito. 

Em verdade, do ponto de vista do bem-estar econômico, em um 
número cada vez maior de países investimentos em educação pri- 
mária já apresentam baixo retorno, tanto privado quanto social, 
transferindo o foco das políticas públicas para a expansão dos níveis 
médio (cujos retornos também já se mostram reduzidos nos países 
da Organização para Cooperação e Desenvolvimento Econômico 
(OCDE) e em muitos países em desenvolvimento) e superior. (IOS- 
CHPE, 2004) O fato é que, à medida que o acesso a um nível de ensino 
se expande, seu retorno econômico tende a diminuir até tornar-se 
insignificante, o que não invalida a necessidade de investimento 
público para garantir que todos tenham acesso a ele, mesmo porque 
sem isso a própria expansão dos níveis mais elevados de educação 
fica comprometida e, junto com ela, tanto 0 crescimento econômico 
do país - principal resultado que se deve buscar com investimentos 
educacionais na visão de autores como Ioschpe (2004), Neri (2007), 
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Hanushek e Woessmann (2007) - quanto o empoderamento dos indi- 
víduos para que possam desenvolver e obter 0 que de fato valorizam 
- finalidade maior da educação na concepção de autores como Sen 
(2000) e Unterhalter e Brighouse (2003). Ademais, quanto maiores 
forem as barreiras ao acesso a níveis mais avançados da educação, 
mais 0 sistema educacional estará, em realidade, perpetuando ou 
mesmo intensificando desigualdades. (TODARO, 2000) 

A ideia principal por trás desses argumentos é que, indepen- 
dentemente do padrão mínimo de educação a ser alcançado, e da 
concepção de educação adotada, desigualdades sempre ocorrerão 
enquanto oportunidades educativas forem distribuídas de maneira 
enviesada. Um objetivo de equidade educacional que privilegia a 
distribuição de oportunidades à de resultados é alcançado quando 
alternativas de escolha equivalentes estão disponíveis para todo 
indivíduo, a despeito do gênero, das condições ou das preferências 
de cada um. (LE GRAND, 1991) 

Não obstante, convém notar que igualdade de oportunidades não 
garante equidade no desempenho educacional - devido a diferenças 
em habilidades e nas escolhas efetivamente feitas. Essas diferenças, 
que costumam gerar desigualdades no desempenho acadêmico das 
pessoas, advêm especialmente de um fator comum: as condições 
socioeconômicas dos e das estudantes. A importância das características 
socioeconômicas na determinação do desempenho escolar é um raro 
ponto de concordância nas pesquisas educacionais e econômicas - e 
tem sido confirmada por evidência internacional já desde a década 
de 1960. (NASCIMENTO, 2007) 

Ainda assim, investigações sobre sistemas educacionais frequen- 
temente negligenciam essa evidência global, concentrando-se, em 
regra, apenas em medidas de desempenho auferidas em um único 
momento temporal, como se indivíduos ou sistemas iguais estives- 
sem sendo comparados. (ROSS; ZUZE, 2004) 

O presente artigo discute a performance de cinco sistemas educa- 
cionais urbanos do Brasil no ano de 2005, levando em consideração 
as diferenças entre escolas e estudantes. Trata-se, portanto, de uma 
avaliação de desempenho de sistemas educacionais a partir do grau 
de equidade distributiva neles verificado. 
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A próxima seção aborda os critérios mais utilizados em educação 
para avaliar equidade. A seção em seguida apresenta os métodos 
usados para mensurar equidade nos sistemas educacionais de cinco 
grandes centros urbanos brasileiros, a partir dos dados obtidos pelo 
Projeto GERES 2005, para desempenho em Leitura de estudantes 
do ensino fundamental. Os resultados da análise são, então, apre- 
sentados na seção posterior, culminando em uma seção final que 
conclui 0 artigo. 


CRITÉRIOS PARA MENSURAR EQUIDADE NA 
DISTRIBUIÇÃO DE DESEMPENHO ACADÊMICO 

Existe um grande número de medidas de equidade educacional 
disponível na literatura econômica e estatística. Elas diferem 
significativamente uma da outra, pois cada uma dessas medidas 
aborda um ou no máximo alguns dos aspectos da desigualdade 
que podem ser observadas em uma distribuição. (MONK, 1990) 
A escolha acerca da medida a ser usada dependerá de quais aspectos 
pretende-se analisar. 

Monk (1990) enumera as medidas de desigualdade em duas cate- 
gorias: as de Tipo I e as de Tipo II. As medidas do Tipo I são utilizadas 
para a análise de distribuições envolvendo uma única variável, como, 
por exemplo, desempenho em testes padronizados. Já as medidas 
do Tipo II são mais apropriadas para análises que contemplem a 
distribuição de duas variáveis, investigando 0 comportamento da 
distribuição de uma delas (em regra expressando um resultado, como 
a nota obtida em testes padronizados) em relação ao comportamento 
da distribuição da outra variável (em geral uma medida das carac- 
terísticas das unidades sob análise, a exemplo da renda familiar, da 
classe social ou do desempenho prévio dos e das estudantes a quem 
os testes padronizados tenham sido aplicados). 

Algumas das mais comuns medidas de desigualdade do Tipo I são: 

a) Variância: indica em que medida estão afastados da média 
os valores individuais de uma variável. Tomando notas em 
testes padronizados como exemplo, a variância indica a va- 
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riabilidade dos resultados obtidos pelos e pelas estudantes 
avaliados (as). 

b) Desvio-padrão: mede o grau de dispersão dos valores de uma 
variável (por exemplo, desempenho escolar). Enquanto a 
variância é a média do quadrado das diferenças entre as ob- 
servações e a média, o desvio padrão, sendo extraído de uma 
raiz quadrada, mede a dispersão das observações ao redor 
da média. 

c) Comparações de percentis: um percentil é o valor de uma variável 
abaixo do qual uma determinada percentagem de observações 
encontra-se. O p-ésimo percentil tem no mínimo p% dos valo- 
res abaixo daquele ponto e no mínimo (100 - p)% dos valores 
acima. Comparações de percentis envolvem comparações dos 
valores máximo e mínimo (amplitude). Assim, comparações 
de decis referem-se a agrupamentos de cada 10% das obser- 
vações, enquanto quartis são agrupamentos de cada 25% das 
observações. 

d) índice de McLoone: é a soma dos valores de todas as observações 
concentradas abaixo da mediana multiplicada pela própria 
mediana. 

As medidas descritas acima são fáceis de computar, mas apre- 
sentam algumas desvantagens significativas: análises baseadas na 
variância e na amplitude costumam ser sensitivas à eventual pre- 
sença de outiiers (observações numericamente distantes do resto dos 
dados) e, quando não 0 são, ignoram os demais valores afora aqueles 
analisados (limitação também aplicável ao índice de McLoone, o 
qual, ademais, é dependente do valor da mediana). 

Medidas do Tipo I são absolutas, uma vez que se referem a uma 
única variável. Já as medidas do Tipo II permitem análises relativas 
da equidade em um sistema, tendo em vista 

que relacionam a distribuição da variável de maior interesse a 
outra que expressa características das unidades de análise. 

Medidas do Tipo II incluem: 

a) Coeficiente de inclinação: mede a mudança em uma característica 
associada à mudança em outra característica. Não fornece in- 
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formação direta acerca do tamanho da desigualdade observada 
e ainda é dependente da unidade de medida. 

b) Coeficiente de elasticidade: independe da unidade de medida 
para aferir a mudança em um atributo associada à mudança 
em outro - a relação é expressa em percentagem. 

c) Coeficiente de correlação: pode assumir valores entre -1 e +1 e 
indica a força e a direção de uma relação linear entre duas 
variáveis aleatórias. Assim sendo, fornece maiores informa- 
ções do que os coeficientes anteriores, os quais indicam no 
máximo a força da relação, jamais a direção. 

Com exceção dessas medidas de desigualdade, estatísticas como 
o Coeficiente de Gini e a Estatística de Theil são também usados para 
mensurar desigualdade na educação. 


MÉTODOS ADOTADOS 

OS SISTEMAS EDUCACIONAIS EM ANÁLISE 

O presente artigo usa dados coletados pelo Projeto GERES 2005, es- 
tudo longitudinal dos anos iniciais de educação em cinco diferentes 
cidades brasileiras - para maiores detalhes do Projeto, ver Franco, 
Brooke e Alves (2008) e Brooke (2005). 

A amostra envolve estudantes tanto de escolas públicas (munici- 
pais, estaduais e algumas federais) quanto de escolas privadas das 
áreas urbanas dos seguintes municípios: Rio de Janeiro, Salvador, Belo 
Horizonte, Campinas e Campo Grande. Todas essas cidades são relevan- 
tes para as regiões onde estão situadas, em termos de população, 
economia e peso político. A amostra de escolas é representativa 
dos sistemas educacionais urbanos desses municípios. (ANDRADE; 
MIRANDA, 2004) 

Os dados consistem em duas ondas de mensuração do desem- 
penho em Leitura de estudantes matriculados no primeiro ano 
do ensino fundamental (com exceção de Salvador, que já iniciou a 
aplicação das avaliações no segundo ano do ensino fundamental). 
A primeira onda foi administrada em março de 2005 (início do ano 
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letivo), enquanto a segunda ocorreu no mês de novembro do mes- 
mo ano (final do ano letivo). Por conseguinte, a análise conduzida 
adiante é fortalecida por uma substancial vantagem: a existência 
de uma medida inicial de conhecimento. 

A IMPORTÂNCIA DA MEDIDA INICIAL DE CONHECIMENTO 

A existência de uma medida de desempenho prévio reduz a depen- 
dência a medidas das condições socioeconômicas dos e das estu- 
dantes. Com a aplicação do teste no início do ano letivo, é possível 
obter, após a aplicação da segunda onda, tendências sobre o pro- 
gresso do aprendizado estudantil no ano de 2005. Isto não dispensa 
totalmente a necessidade de mensurar tanto 0 resultado acadêmico 
quanto seus determinantes (BAKER, 2000), mas contar também 
com 0 teste inicial limita os efeitos do contexto socioeconômico do 
alunado sobre 0 seu aprendizado naquele ano letivo às condições 
que eventualmente possam ter se alterado entre a administração 
do primeiro e do segundo testes. 

MEDIDAS DE EQUIDADE ADOTADAS 

Inicialmente seguindo a estratégia definida em OECD (2005) para 
medir equidade no desempenho dos diversos países na prova de 
Leitura do PISA 2000, a variância total e a variância entre-escolas, 
bem como a proporção desta última em relação à primeira, foram 
calculadas para cada sistema. Ao ser feito isto, busca-se aferir a equi- 
dade distributiva dos respectivos sistemas tanto no nível do aluno 
quanto no nível da escola. O impacto da composição do alunado 
da escola na performance estudantil, também examinada em OECD 
(2005) para os resultados do PISA 2000 e elemento-chave na análise 
realizada para os resultados do SACMEQJROSS; ZUZE, 2004), é indire- 
tamente capturado na presente análise por intermédio da variância 
do aprendizado entre 0 início e 0 final do ano letivo em questão. 

A variância entre-escolas é um componente da variância total, e 
refere-se ao quanto a média de uma determinada escola afasta-se 
da média de todas as escolas em conjunto. 
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A variância total e a variância entre-escolas é dada por: 
a) Variância total dos resultados obtidos pela amostra de estudantes: 





b) Variância entre-escolas: 



Onde: 

• x r = nota obtida pelo ou pela estudante i na escola j ; 

• Existem n estudantes em cada escola, em um universo de m 
escolas; 

• x = média verificada para todo o conjunto de estudantes; 

• x = média observada para a escola j. 

Quanto maior a variância total, mais desigual é o sistema. No ní- 
vel da escola, quanto maior for a proporção da variância entre-escolas 
em relação à variância total, mais as escolas parecem predispostas a 
selecionar seu corpo discente de acordo com habilidades percebidas 
no momento de entrada na escola. Isto poderia indicar que para al- 
gumas crianças acabem sobrando apenas escolas pouco satisfatórias, 
comprometendo desde cedo seus processos de aprendizagem. 

Ao decompor a variância total, uma terceira estatística pode ser 
utilizada: a variância dentro das escolas. Ela mostra a dispersão das 
notas dentro de uma mesma escola: 



7=1 ;=i 


Quando uma única medida de desempenho é considerada e ne- 
nhum controle estatístico é feito para as condições socioeconômicas, 
uma alta variância dentro das escolas poderá sinalizar heterogenei- 
dade na composição dos seus alunados. Se esta hipótese se confirma 
após controlar para características socioeconômicas e desempenho 
prévio, este seria um aspecto até positivo quando equidade e coesão 
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social são buscadas. Entretanto, se esta estatística prosseguir elevada 
mesmo após a introdução de tais controles, possivelmente as escolas 
daquele sistema tendem a segregar seus alunos e suas alunas, alo- 
cando cada qual a diferentes classes de acordo com o desempenho 
escolar esperado. Mais uma vez, evidenciam-se as vantagens de dis- 
por de uma medida inicial de desempenho: ao se comparar os escores 
obtidos pelas mesmas crianças em diferentes momentos, clareiam-se 
tendências e evitam-se conclusões apressadas e equivocadas. 


RESULTADOS 

RESULTADOS USANDO UMA ÚNICA MEDIDA DE DESEMPENHO 

A segunda onda (aplicada no final do ano letivo de 2005) mostrou 46,8% 
da variância total na prova de Leitura correspondendo à variância 
entre-escolas. Tal proporção é equivalente àquela apresentada em 
OECD (2005) para 0 Brasil no teste de Leitura do PISA 2000 (47%), a qual 
situava 0 Brasil bem atrás do país com maior variância entre-escolas 
(Alemanha, 60%), porém bem acima de outros países, tais como Coreia 
do Sul (38%), Reino Unido (29%) e Finlândia (8%). Uma interpretação 
conjunta desses resultados sugere que desigualdades entre escolas são 
significativas no Brasil e em alguns de seus maiores centros urbanos. 

Ao analisar os números desagregados por cidade, é possível situar 
cada uma delas em relação às demais. As variâncias de cada sistema 
estão mostradas na Tabela 1 e ilustradas no Gráfico 1. 


Tabela 1: Amostra e variância das notas para a segunda onda, por sistema 


SISTEMA EDUCACIONAL 

URBANO 

(1) 

N° DE 
ALUN@>S 
(2) 

N° DE ESCOLAS 
(3) 

VARIÂNCIA 

(5) COMO 
% DE (4) 

(7) 

TOTAL 

(4) 

ENTRE 
ESCOLAS (5) 

INTRA- 
ESCOLA (6) 

B. HORIZONTE 

4163 

60 

501,965 

233,356 

268,609 

46,5 

CAMPINAS 

4534 

61 

529,102 

269,216 

259,886 

50,9 

CAMPO GRANDE 

3378 

59 

438,47 

189,106 

249,364 

43,1 

RIO DE JANEIRO 

3864 

68 

476,04 

205,394 

270,646 

43,1 

SALVADOR 

3335 

54 

397,749 

182,535 

215,214 

45,9 

TODOS OS 5 

19274 

302 

494,693 

231,589 

263,104 

46,8 


Cálculos do autor usando dados da Onda 2 (Leitura) do Projeto GERES 2005 
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Gráfico 1: Variância das notas em Leitura para a segunda onda, por sistema 


Belo Horizonte aparece como o sistema mais próximo da média 
dos cinco, e Rio de Janeiro e Campo Grande parecem, à primeira vista, 
os sistemas menos desiguais entre escolas. O sistema que mais se 
diferencia dos demais é o de Campinas, no qual a variância entre- 
escolas como proporção da variância total excedeu a média em 4,1%. 
Trata-se também do sistema com maior variância total. 

Como foi destacado anteriormente, com apenas uma medida de 
desempenho 0 componente intraescolar da variância pode sugerir 
maior heterogeneidade de status socioeconômico entre estudantes 
da mesma escola, dado que a variabilidade de desempenho de estu- 
dantes costuma estar fortemente associada aos níveis de bem-estar 
econômico e social das suas famílias. Se este houver sido realmente 
0 caso, Rio de Janeiro seria a cidade mais equânime do ponto de vista 
de oportunidades educativas. Contudo, tal conclusão seria preci- 
pitada, sem antes examinar a fotografia que se obtém ao incluir 0 
desempenho prévio na análise. 

RESULTADOS USANDO O PROGRESSO ACADÊMICO 
EM RELAÇÃO AO DESEMPENHO PRÉVIO 

De fato, a situação se altera bastante quando 0 desempenho prévio 
é incorporado à análise. Os novos resultados são apresentados na 
Tabela 2 e plotados no Gráfico 2. 
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Tabela 2: Amostra e variância das notas em Leitura após controlar 


para desempenho prévio, por sistema 


SISTEMA EDUCACIONAL 

URBANO 

(D 

N° DE 
ALUNOS 
(2) 

N° DE ESCOLAS 
(3) 

VARIÂNCIA 

(5) 

COMO % 
DE (4) 

(7) 

TOTAL 

(4) 

ENTRE 
ESCOLAS (5) 

INTRA- 
ESCOLA (6) 

B. HORIZONTE 

3677 

60 

229,205 

18,343 

210,862 

8,0 

CAMPINAS 

3898 

61 

302,31 

33,386 

268,925 

11,0 

CAMPO GRANDE 

2724 

59 

343,66 

47,23 

296,43 

13,7 

RIO DE JANEIRO 

3454 

68 

259,659 

25,086 

234,573 

9,7 

SALVADOR 

2669 

54 

259,345 

30,985 

228,36 

11,9 

TODOS OS 5 

16422 

302 

290,436 

43,39 

247,046 

14,9 


Cálculos do autor usando dados da Onda 2 (Leitura) do Projeto GERES 2005 
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Gráfico 2: Variância da diferença das notas em Leitura entre a primeira e a segunda ondas, por sistema 
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Quando escores observados na segunda onda são confrontados 
com aqueles obtidos na primeira, tanto a variância total quanto a 
variância entre-escolas são consideravelmente reduzidas - indicando 
que, ao menos nos anos inicias de estudo, a velocidade de aprendiza- 
gem das crianças é muito próxima, confirmando que discrepâncias 
em seus desempenhos estão muito mais relacionadas ao contexto 
familiar e social em que vivem do que à escola onde estudam. 

Além disso, o novo quadro atesta que, nessa fase, variações no 
progresso escolar estão mais associadas à sua variabilidade dentro da 
própria escola do que entre diferentes escolas - realçando, uma vez 
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mais, a influência, sobre seu desempenho, do aprendizado trazido 
pela criança de fora do contexto escolar e decerto relacionado às suas 
já relevantes experiências e história de vida. Por outro lado, confor- 
me foi discutido anteriormente, este fato pode também sinalizar ou 
heterogeneidade do corpo discente das escolas ou, a despeito ou ao 
invés disto, uma tendência das escolas de segregar seus alunos e suas 
alunas de acordo com os níveis esperados de desempenho de cada 
qual, formando classes homogêneas de estudantes mais difíceis e de 
estudantes mais fáceis de educar. Entretanto, a ausência na presente 
análise de dados a respeito das características socioeconômicas das 
crianças da amostra impede uma conclusão firme quanto a qual seja 
o caso para essas cinco cidades. 

Voltando às diferenças em performance entre estudantes e escolas, 
a Tabela 3 abaixo apresenta “rankings de desigualdade educacional” 
para os cinco sistemas avaliados. As colunas 2 e 3 relatam a posição 
nesse ranking a partir da análise unicamente da segunda onda, enquan- 
to as colunas 4 e 5 refazem as posições quando 0 progresso acadêmico 
verificado entre as duas ondas passa a ser 0 indicador considerado. 


Tabela 3: “Rankings da desigualdade" antes e depois de controlar para o desempenho prévio 


Sistema educacional 

Posição no ranking baseado apenas na 
onda 2 

Posição no ranking para o progresso 
acadêmico entre as ondas 1 e 2 

Entre-escolas 

Entre-escolas 
como % da Total 

Entre-escolas 

Entre-escolas 
como % da Total 

B. HORIZONTE 

2 o 

2° 

5 o 

5° 

CAMPINAS 

1° 

1° 

2° 

3 o 

CAMPO GRANDE 

4° 

5 o 

1° 

1° 

RIO DE 1ANEIRO 

3 o 

4 o 

3° 

4» 

SALVADOR 

S° 

3 o 

4 o 

2 o 


Elaborada pelo autor a partir dos números mostrados nas Tabelas 1 e 2. Notar que, para cada critério, a I a 
posição refere-se ao sistema mais desigual, e a 5 a , ao mais equânime. 


Campinas, o mais desigual dos sistemas quando apenas os resul- 
tados da segunda onda são observados, agora passa a ser o segundo 
em termos de variância total e situa-se no terceiro lugar em desi- 
gualdade entre escolas. Belo Horizonte, que antes era a cidade que 
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mais se assemelhava a Campinas, desta vez apresenta-se como o mais 
equânime dos cinco sistemas nos dois critérios. Rio não alterou sua 
posição entre intermediária e mais próximo do topo desse ranking. 
Salvador é um dos mais equitativos sistemas em termos de variância 
total nas duas medidas, mas seu desempenho cai consideravelmente 
entre a análise apenas da segunda onda e a análise do progresso 
escolar quando o critério de análise é a variância entre-escolas como 
proporção da variância total. Este resultado parece sugerir que o 
progresso acadêmico das crianças de Salvador é mais equânime ao 
longo da amostra de estudantes, embora algumas escolas apresen- 
tem desempenho médio superior a das outras - não se sabe se por 
serem escolas melhores ou por atraírem estudantes em condições 
de aprender conteúdos escolares mais rapidamente. 

Não obstante essa particularidade de Salvador, a maior mudan- 
ça nos rankings foi a posição relativa de Campo Grande. Quando o 
progresso acadêmico passou a ser o foco da análise, esse sistema 
educacional deixou o status de “equitativo”, que obtinha quando 
apenas o desempenho verificado na segunda onda era avaliado, para 
passar a ser o mais desigual dos cinco sistemas, tanto em termos de 
variância total, quanto em termos de variância entre-escolas. 

Infelizmente, dados relativos a características socioeconômicas 
e demográficas das cinco cidades não puderam ser incorporados à 
análise (estavam disponíveis, mas não foram levantados e utilizados 
em razão do limite de páginas deste trabalho). Dessa forma, não é 
possível construir hipóteses mais concretas acerca do porquê das 
mudanças de posição nos rankings sugeridos. 

OUTLIERS: SÃO ELES UM PROBLEMA 
NA AMOSTRA PESQUISADA? 

Outiiers são valores extremos que podem conduzir a interpretações 
errôneas das estatísticas calculadas a partir de bases de dados nas 
quais tais valores estão presentes. A presença de outiiers pode ser 
detectada a partir do cálculo dos z-scores da variável de interesse. 
Z-scores abaixo de -3 ou acima de +3 podem ser outiiers, ainda que 
para bases de dados muito grandes (usualmente assim consideradas 
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aquelas com mais de 1.000 observações) seus impactos tendam a ser 
irrelevantes. (HAWKINS, 1980) 

Z-scores foram calculados, mas a exclusão de 218 estudantes da 
análise com dados unicamente da segunda onda, e de 51 estudantes 
e uma escola da análise que utilizara 0 progresso acadêmico entre 
as duas ondas como critério de análise não modificaram em nada a 
interpretação dos resultados (APÊNDICE A). 


CONSIDERAÇÕES FINAIS 

Dados analisados no presente artigo sugerem uma desigualdade 
considerável entre escolas quando uma única medida de desempe- 
nho é considerada para estudantes de séries iniciais. Porém, após 
incorporação de uma medida prévia de desempenho, aferida no 
início do mesmo ano letivo, a variância intraescolas passa a ser res- 
ponsável por 86% a 92% da variação de escores. Isto pode significar 
heterogeneidade socioeconômica na composição do alunado das 
escolas da amostra, ou um indício de que estas enturmariam estu- 
dantes de acordo com a distribuição de fatores não-mensurados (e.g., 
expectativa das escolas e dos pais quanto ao desempenho escolar 
das crianças ao longo do ano). É possível até que os resultados apre- 
sentados estejam sinalizando ambas as hipóteses. A administração 
de um teste de conhecimento prévio foi um elemento-chave para 
levantar essas duas hipóteses, mas não fornece todas as respostas. 

Anão-utilização de dados relativos às condições socioeconômicas das 
crianças da amostra limita qualquer conclusão a respeito do que os altos 
níveis observados de variância intraescolar do progresso acadêmico 
possam de fato indicar. O uso de informações de cunho socioeconômico 
e demográfico referentes às cinco cidades analisadas também enrique- 
ceriam bastante o estudo, pois um número maior de comparações úteis 
poderia ser feita entre os sistemas educacionais avaliados. 

Ainda que 0 presente trabalho lance luz à discussão sobre equi- 
dade dentro do Projeto GERES 2005 e esteja, inclusive, passível 
de aprimoramentos que possibilitem uma investigação mais apro- 
fundada, desenhos de pesquisa como 0 aqui utilizado não permi- 
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tem conclusões das razões pelas quais ocorrem os fenômenos em 
hipótese (por exemplo, escolas agrupando estudantes por níveis 
de habilidade), nem tampouco se o comportamento que os gera 
é justificável ou não. Para tanto, seria recomendável aprofundar 
a investigação quantitativa com pesquisas qualitativas (estudos de 
caso, etnográficos, etc.). 
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APENDICE A 


ESTATÍSTICAS DESCRITIVAS PARA O DESEMPENHO EM LEITURA 
DOS ESTUDANTES OBTIDOS NA ONDA 2 DO GERES 2005 


Tabela 4: Estatísticas descritivas no nível do estudante para as notas obtidas em Leitura 
na onda 2 do CERES 2005 


Sistema 

educacional 

N° observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

4.163 

63,37 

184,11 

126,5156 

22,40457 

501,965 

Campinas 

4.534 

63,37 

184,11 

121,4640 

23,00221 

529,102 

Campo Grande 

3.378 

63,37 

184,11 

120,0545 

20,93968 

438,470 

Rio de Janeiro 

3.864 

63,37 

184,11 

132,1966 

21,81835 

476,040 

Salvador 

3.335 

63,37 

184,11 

120,7444 

19,94365 

397,749 


Tabela 5: Estatísticas descritivas no nível do estudante para as notas obtidas em Leitura 
na onda 2 do CERES 2005 - SEM OS OUTUERS 


Sistema 

educacional 

N° observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

4.128 

69,49 

175,25 

126,8933 

21,78267 

747,485 

Campinas 

4.456 

68,79 

175,25 

122,1036 

21,91110 

480,096 

Campo Grande 

3.341 

68,97 

173,35 

120,6262 

20,23206 

409,336 

Rio de Janeiro 

3.823 

68,82 

175,25 

132,5421 

20,93921 

438,451 

Salvador 

3.308 

69,05 

175,25 

121,0531 

19,35610 

374,659 


Tabela 6: Estatísticas descritivas no nível da escola para as notas obtidas em Leitura na 
onda 2 do CERES 2005 


Sistema 

educacional 

N° 

observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

60 

100,74 

157,54 

130,8475 

15,27600 

233,356 

Campinas 

61 

95,35 

156,81 

126,2185 

16,40780 

269,216 

Campo Grande 

59 

102,32 

150,66 

124,9924 

13,75156 

189,106 

Rio de Janeiro 

68 

110,59 

156,70 

135,2024 

14,33158 

205,394 

Salvador 

54 

95,19 

154,35 

124,2914 

13,51056 

182,535 


Tabela 7: Estatísticas descritivas no nível da escola para as notas obtidas em Leitura na 
onda 2 do CERES 2005 - SEM OS OUTUERS 


Sistema 

educacional 

N° 

observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

60 

100,74 

157,54 

130,8475 

15,27600 

233,356 

Campinas 

61 

95,35 

156,81 

126,2185 

16,40780 

269,216 

Campo Grande 

59 

102,32 

150,66 

124,9924 

13,75156 

189,106 

Rio de Janeiro 

68 

110,59 

156,70 

135,2024 

14,33158 

205,394 

Salvador 

54 

95,19 

154,35 

124,2914 

13,51056 

182,535 
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ESTATÍSTICAS DESCRITIVAS PARA A VARIAÇÃO NO 
DESEMPENHO OBSERVADAS ENTRE AS ONDAS 1 E 2 

Tabela 8: Estatísticas descritivas no nível do estudante para a diferença observada entre 
as ondas 1 e 2 do CERES 2005 


Sistema 

educacional 

N° 

observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

3.677 

-45,69 

76,44 

17,7811 

15,13953 

229,205 

Campinas 

3.898 

-52,55 

78,62 

22,1748 

17,38709 

302,311 

Campo Grande 

2.724 

-49,93 

86,36 

17,9312 

18,53806 

343,660 

Rio de Janeiro 

3.454 

-51,45 

99,76 

13,4590 

16,11394 

259,659 

Salvador 

2.669 

-45,72 

81,18 

11,8066 

16,10420 

259,345 


Tabela 9: Estatísticas descritivas no nível do estudante para a diferença observada entre 
as ondas 1 e 2 do CERES 2005 - SEM OS OUTLIERS 


Sistema 

educacional 

N° 

observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

3.650 

-45,69 

76,44 

17,9160 

14,98960 

224,688 

Campinas 

3.841 

-52,55 

78,62 

22,4262 

17,17127 

294,853 

Campo Grande 

2.698 

-49,93 

86,36 

18,1238 

18,41654 

339,169 

Rio de Janeiro 

3.420 

-45,45 

99,76 

13,5687 

15,96385 

254,845 

Salvador 

2.649 

-43,53 

81,18 

11,9563 

15,86285 

251,630 


Tabela 10: Estatísticas descritivas no nível da escola para a diferença observada entre as 
ondas le2do CERES 2005 


Sistema 

educacional 

N° 

observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

B. Horizonte 

60 

7,04 

29,21 

17,2735 

4,28291 

18,343 

Campinas 

61 

10,34 

32,82 

22,1477 

5,77807 

33,386 

Campo Grande 

59 

3,00 

34,41 

18,4114 

6,87239 

47,230 

Rio de Janeiro 

68 

0,75 

30,60 

13,3755 

5,00855 

25,086 

Salvador 

54 

-3,31 

23,22 

12,0682 

5,56643 

30,985 


Tabela 11: Estatísticas descritivas no nível da escola para a diferença observada entre as 
ondas 1 e 2 do CERES 2005 - SEM OS OUTLIERS 


N° observações 

Valor mínimo 

Valor máximo 

Média 

Desvio-padrão 

Variância 

302 

-3,31 

34,41 

16,6719 

6,58710 

43,390 
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A avaliação do desempenho 
de alunos de educação 
superior: uma análise a partir 
da experiência do ENADE 

Robert E. Verhine (UFBA) 
Lys M. V. Dantas (FAPESB) 


INTRODUÇÃO 


Políticas de avaliação da educação superior passaram a ser discuti- 
das no Brasil a partir da década de 8o, através de iniciativas como 
o Programa de Avaliação da Reforma Universitária e o Programa de 
Avaliação Institucional das Universidades Brasileiras fPAIUB), desen- 
volvidas entre os anos de 1983 e 1995 1 . 0 processo de implementação 
dessas políticas se concretizou em 1995 com a Lei n° 9.131/95, que 
estabeleceu o Exame Nacional de Cursos (ENC, popularmente co- 
nhecido como Provão), detalhado por meio do Decreto n° 2.026/96. À 
época, foram lançados também a Avaliação das Condições de Ensino 
e 0 Censo de Educação Superior, mas 0 Provão recebeu uma atenção 
maior por parte da mídia e das instituições. Entretanto, apesar do 
crescimento do Provão (de três áreas de conhecimento testadas em 
1995 para 26 em 2003), de seu papel central e da sua larga aceitação, 
ele foi veementemente criticado por muitos, incluindo os membros 
da comunidade acadêmica e especialistas em avaliação. Dentre as 
críticas ao Exame estavam: ser referenciado à norma, ser obrigatório, 
ter um viés “conteudista”, apenas avaliar os alunos concluintes (não 
captando, portanto, a contribuição do curso na sua formação), e 


1 Para leitura do 
panorama sobre a 
avaliação no Ensino 
Superior no Brasil, 
consultar INEP (2003), 
Barreyro e Rothen (2008), 
Dias Sobrinho (2003), 
Gomes (2003); Gouveia et 
al. (2005) e Schwartzman 
0992). 


2 Segundo informações 
fornecidas por Jamil Salmi, 
especialista em Educação 

Superior do Banco 
Mundial, em abril de 2009, 
existem três países que 
têm uma experiência 
próxima àquela adotada 
pelo governo brasileiro 
com o Provão/ENADE. São 
eles: Colômbia, Jordânia 
e México. Na Colômbia, a 
avaliação chegou a ser 
implementada, mas foi 
imediatamente suspensa 
por mecanismos judiciais. 

A Jordânia apenas 
apresentou um proposta, 
ainda não implementada. 
Finalmente, no México, o 
CENEVALE funciona, mas 
as instituições optam por 
participar ou não. 

3 Os autores agradecem 

as discussões sobre o 
tema que tiveram com 
José Francisco Soares, 
Rubens Klein, Cláudio 
de Moura Castro, Simon 
Schwartzman e José 
Dias Sobrinho. Esses 
momentos contribuíram 
para as reflexões que são 
aqui apresentadas. 


promover (o risco de) uma unificação de currículo (vez que o Exame 
era aplicado a partir de uma única base para todo o país), dentre 
muitas outras. 

Em 2003, com a mudança de governo, o Ministério de Educação 
designou uma comissão (Comissão Especial de Avaliação (CEA), pre- 
sidida por José Dias Sobrinho) para estudar o tema da avaliação do 
ensino superior e propor alternativas ao modelo existente. Em 27 
de agosto de 2003, a Comissão divulgou uma proposta preliminar 
para uma nova rede de avaliação, com componentes articulados e 
integrados, chamada Sistema Nacional de Avaliação da Educação 
Superior, ou mais sucintamente, SINAES. Após um período de dis- 
cussões em nível nacional que resultaram em várias alterações à 
proposta, 0 SINAES foi instituído pela Lei n° 10.861/04, de 14 de abril, 
2004, aprovada por grande maioria na câmara federal e no senado. 
O Exame Nacional de Avaliação e Desenvolvimento dos Estudantes 
(ENADE), a avaliação de curso e a avaliação institucional passaram 
a ser os elementos desse sistema nacional. 

O modelo do ENADE (e do Provão) não existe em nenhum outro 
país no mundo 2 . São, portanto, de grande valia análises e estudos 
que se façam dessa experiência. O presente capítulo apresenta uma 
reflexão sobre 0 ENADE, a partir da análise de implementação do seu 
primeiro ciclo (2004 - 2006) 3 e visa contribuir para a aprendizagem no 
campo da avaliação, por um lado, e para 0 aprimoramento do SINAES, 
por outro. Para tanto, está estruturado em mais quatro seções, além 
da presente Introdução: O ENADE - sua implementação no período 
2004 a 2006, no qual os autores apresentam sua concepção e opera- 
cionalização de maneira mais detalhada; Tendências observadas a 
partir do ENADE - ciclo 2004 a 2006, na qual os autores identificam os 
principais resultados oriundos das provas a também do questionário 
socioeconômico preenchido por cada participante; Eixos de reflexão, 
quando são discutidos cinco pontos críticos relacionados ao Exame, e, 
finalmente, as Considerações Finais, na qual são sintetizadas algumas 
sugestões para 0 refinamento do ENADE e a consolidação do Sistema 
Nacional de Avaliação de Educação Superior. 
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o enade: sua implementação 
NO PERÍODO 2004 A 2006 


4 Para a comparação 
Provão x ENADE, consultar 
Verhine, Dantas e Soares 
(2006). 

O ENADE não fez parte da proposta original do SINAES, divulgada 
em agosto de 2003. O grupo responsável pela proposta (a CEA) reagia 
firmemente à ideia de um exame nacional padronizado, focado em 
conteúdo, com escala referenciada à norma, sem elementos que 
permitissem comparabilidade ao longo do tempo, e muito caro, 
como considerava 0 Provão. Havia uma percepção (correta) de que, 
com 0 crescimento acelerado da Educação Superior no Brasil, em 
breve um exame nacional, censitário, obrigatório e com frequência 
anual, seria economicamente inviável. 

A proposta da CEA de abordagem ao aluno tinha um formato 
mais restrito, chamado Paideia (Processo de Avaliação Integrada do 
Desenvolvimento Educacional e da Inovação da Área), e consistia em 
um programa de testagem para uma amostra de cursos que pudesse 
representar as tendências de desempenho por área de conhecimento. 

O instrumento do Paideia seria aplicado, a uma ou mais áreas por 
ano, a estudantes em meio e fim de curso de todas as instituições que 
oferecessem cursos de graduação na área avaliada. Nessa aplicação 
buscar-se-ia captar “[...] as evoluções, tendências e inovações” da 
área e cada IES poderia adaptá-lo “de acordo com 0 formato da sua 
organização acadêmica”. (INEP, 2004, p. 115) 

Muitos dos envolvidos na conceituação do Paideia foram sur- 
preendidos pelo forte apoio de vários membros do Congresso ao 
Provão. Negociações foram conduzidas e resultaram no ENADE, no 
qual a avaliação de cursos seria feita individualmente (em lugar de 
áreas, como no Paideia), por meio de testes aplicados a uma amostra 
representativa de alunos ingressantes e concluintes, além de focali- 
zar não só os conteúdos específicos, mas também a formação geral. 

Dessa maneira, pretendeu-se conservar os avanços do Provão, por 
um lado, e endereçar suas limitações, por outro 4 . 

Com a Lei n° 10.861/04, 0 ENADE tornou-se um componente cur- 
ricular obrigatório, com participação registrada no histórico escolar 
de cada estudante. O Exame avalia os alunos com relação aos conte- 
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5 Para o ENADE, um 
ingressante é um aluno 
que tem concluído entre 
7 e 22% dos créditos do 
curso, e um concluinte é 
aquele que já completou 
8o% ou mais dos créditos. 


údos fornecidos pelas orientações curriculares dos seus respectivos 
cursos de graduação. Avalia também a adequação, o conhecimento 
do aluno e suas competências para compreender tópicos relativos 
a questões brasileiras e internacionais. O Exame nacional deve ser 
aplicado em todos os cursos profissionais, pelo menos uma vez a 
cada três anos, para alunos ingressantes e concluintes, permitindo, 
dessa forma, medir a trajetória de aprendizagem do alunado. Essa 
intenção de medir o valor agregado desempenha um papel central no 
delineamento dos testes e na possibilidade de melhorar a qualidade 
de informação fornecida por um exame dessa natureza. 

Outras características que ajudam a entender o ENADE estão 
relacionadas a seguir. Os resultados individuais dos estudantes são 
disponíveis apenas para eles próprios e há pouco alarde na divulga- 
ção geral dos resultados, visto que esse Exame deve ser percebido 
como componente de um sistema maior de avaliação e que, portanto, 
seus resultados precisam ser considerados em articulação com os 
demais. São coletados, em paralelo aos testes, dados de perfil do 
alunado, do curso e da instituição, além de percepção sobre a prova, 
fornecidos pelos estudantes e pelo coordenador do curso avaliado; 
e é prevista uma expansão gradual do sistema. 

As áreas do conhecimento registradas no INEP foram divididas 
em três grupos e, anualmente, os estudantes concluintes e ingres- 
santes 5 de cada grupo de áreas são submetidos ao ENADE. (INEP, 
2007) Em 2004, 0 Exame foi aplicado ao grupo de cursos da Saúde e 
das Ciências Agrárias; em 2005, ao grupo das Engenharias (dividido 
em oito áreas, contemplando 46 Engenharias) e das licenciaturas; 
e, em 2006, ao grupo de Ciências Sociais aplicadas e aos demais 
cursos. Nesse delineamento, até novembro de 2006, todas as áreas 
da graduação haviam sido submetidas à primeira edição do Exame 
(exceto os cursos superiores de tecnologia e algumas áreas com 
número muito pequeno de estudantes e de cursos). Completo o 
ciclo, em 2007 0 ENADE foi novamente aplicado ao grupo de Saúde 
e Ciências Agrárias, mas, dessa vez, foram contempladas três áreas 
a mais, refletindo assim a crescente diversificação da Educação 
Superior no Brasil. 

As diretrizes da prova de cada uma das áreas foram elaboradas 
por comissões assessoras, compostas por doutores ou pessoas de 
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notório saber indicadas por entidades acadêmicas representativas. 
Para elaboração das diretrizes, as comissões se basearam nas Dire- 
trizes Curriculares Nacionais dos Cursos, aprovadas e instituídas 
pelo Conselho Nacional de Educação (CNE). A elaboração e aplicação 
das provas ficaram sob a responsabilidade de três instituições espe- 
cializadas. As provas aplicadas no período foram compostas de 40 
questões, 30 das quais de conteúdos específicos e dez de formação 
geral (com uma pequena variação no padrão em 2004, ajustada 
nos anos seguintes). As questões de formação geral foram comuns 
a todos os alunos de todas as áreas do conhecimento. As questões 
de formação específica, por sua vez, levaram em consideração os 
conteúdos do curso como um todo e não apenas os do último ano, de 
modo a focalizar a trajetória dos estudantes e não apenas 0 ponto de 
chegada. Dessa forma, a prova para os ingressantes e concluintes foi 
a mesma. Pressupõe-se que, articulados aos demais dados do SINAES, 
os resultados do ENADE sejam utilizados para a melhoria do curso 
e da instituição, em um processo formativo, visto que 0 Exame se 
diz capaz de identificar as competências não desenvolvidas pelos 
alunos ao longo de três anos de escolarização superior. 6 

Conforme foi mostrado na Tabela 1, no período 2004 a 2006 foram 
avaliados 13.396 cursos em 48 diferentes áreas, através da aplica- 
ção de provas a 807.170 alunos, dos quais aproximadamente 60% 
foram ingressantes e 40% concluintes 7 . Com a adoção de processos 
de amostragem, cerca de 50% dos alunos-alvo participaram a cada 
ano. No caso de cursos pequenos, com menos do que 20 candidatos 
potenciais, a participação dos alunos foi censitária. Assim, para um 
número pequeno de áreas, compostas apenas de cursos pequenos, 
0 sistema amostrai não foi aplicado 8 . 


Tabela 1: Dados-síntese sobre a aplicação do ENADE quanto às áreas, 
cursos e número de estudantes respondentes, no período 
de 2004-2006 


Ano 

Areas 

N° de cursos 

N° de estudantes 

2004 

13 

2.184 

143.170 

2005 

20 

5.511 

277.476 

2006 

15 

5.701 

386.524 

Total no Ciclo 

48 

13.396 

807.170 


6 Para um 

aprofundamento sobre o 
aspecto diagnóstico do 
ENADE, consultar Limana 
e Brito (2006). 

7 Para o segundo ciclo 
do ENADE, referente ao 
período 2007-2009, está 
prevista a participação de 
21.758 cursos distribuídos 
em 61 áreas, perfazendo 
1 -575- 2 74 estudantes. 

8 No período 2004 a 
2006, as áreas em que a 
aplicação foi censitária 
foram: Arquivologia, 
Teatro, Terapia 
Ocupacional e Zootecnia. 


Fonte: INEP (2007). 
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A nota final de um determinado curso foi a média ponderada 
da nota padronizada dos concluintes no componente específico, 
da nota padronizada dos ingressantes no componente específi- 
co e da nota padronizada em formação geral de todos os alunos 
(concluintes e ingressantes), considerando-se, respectivamente, os 
pesos 60%, 15% e 25%. 

A subseção a seguir apresenta sucintamente as principais tendên- 
cias observadas no primeiro triénio de implementação do ENADE, 
consideradas as aplicações de 2004, 2005 e 2006, abrangendo assim 
0 primeiro ciclo do Exame. 


TENDÊNCIAS OBSERVADAS A PARTIR 
DO ENADE - CICLO 2004.-2006 

Os dados apresentados na tabela abaixo indicam a distribuição dos 
conceitos do ENADE (variando de 1 a 5), atribuídos em cada um dos 
três anos sob análise. A distribuição para os anos 2005 e 2006 está cla- 
ramente de acordo com a curva normal, com um percentual pequeno 
de conceitos de nível 1 e 5 e com uma concentração de conceitos de 
nível 3. Em 2004, no entanto, a situação foi diferente, pois 0 percen- 
tual de conceitos altos (conceitos 4+5 = 51,0%) foi bem maior do que 
0 percentual de conceitos baixos (conceitos 1 +2 = 10,6%). 


Tabela 2: Dados-síntese sobre a distribuição percentual dos cursos nos cinco conceitos da 
escala ENADE, no período 2004-2006 


Ano 

Conceito 1 

Conceito 2 

Conceito 3 

Conceito 4 

Conceito 5 

2004 

2,6% 

8,0% 

39,5% 

39,5% 

10,5% 

2005 

3,0% 

17,1% 

52,9 % 

22,2% 

4,7% 

2006 

2,4% 

25,5% 

49,2% 

17,9% 

5,1 % 


Fonte: INEP (2005, 2006, 2007). 


Segundo análises reportadas por Verhine, Dantas e Soares (2006), 
no caso do ENADE 2004, a nota do curso dependeu dos melhores 
e piores escores dos cursos em um dado campo de conhecimento. 
Este procedimento criou distorções e instabilidades, conforme foi 
observado em Medicina, área em que o mais baixo escore de curso foi 
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substancialmente inferior aos outros. Como consequência, as notas 
da área ficaram artificialmente altas. O percentual dos cursos de 
Medicina classificados nas duas faixas mais altas da escala subiu de 
29% (24 cursos) no Provão 2003 9 para 87% (73 cursos) no ENADE 2004. 
O percentual de cursos nas duas categorias mais inferiores na escala 
caiu de 21% (18 cursos) em 2003 para zero, em 2004. O problema 
destacado foi corrigido pelo INEP logo em seguida, resultando nas 
distribuições normais observadas para os anos de 2005 e 2006. 

Uma análise mais cuidadosa da distribuição dos conceitos no 
período 2004 - 2006 revela as seguintes tendências 10 : 

a) A região Nordeste, surpreendentemente, concentrou 0 mais 
alto percentual de conceitos 5 e 4 (44,0%), seguido pela região 
Sul (39,6%). A região Sudeste tem 0 maior número de conceitos 
4 e 5 em termos absolutos, mas seu percentual de conceitos 
altos é mais baixo ao considerar o número total de cursos 
envolvidos. 

b) O percentual de conceitos 4 e 5 foi mais alto para instituições 
públicas (55,9%) em relação às privadas e para universidades 
(50,8%) quando comparadas com centros universitários e facul- 
dades. Entre as universidades, as federais se sobressaíram, com 
76,5% dos seus cursos recebendo conceitos dos dois níveis mais 
altos. Os centros tecnológicos também se destacaram (tendo 
57,1% de seus cursos com conceitos 4 ou 5), mas foi pequeno 
0 número de cursos desse tipo de instituição avaliados pelo 
ENADE no período (apenas 21). 


9 Para uma leitura sobre 
o Provão 2003 (resultados 
e críticas ao Exame), ver 
INEP (2003). 


10 Os percentuais 
relatados foram 
calculados pelos autores, 
baseados no total de 
conceitos válidos. 


Além dos conceitos do ENADE, foram divulgados anualmente, a 
partir de 2005, os resultados referentes ao Indicador de Diferença 
entre os Desempenhos Observado e Esperado (IDD). Este Indicador 
foi desenvolvido para captar 0 valor agregado do curso e represen- 
ta a diferença entre 0 desempenho médio dos concluintes de um 
curso e 0 desempenho médio estimado para os concluintes desse 
mesmo curso. Para calcular 0 desempenho estimado, são conside- 
rados 0 desempenho dos ingressantes, 0 nível de instrução de seus 
pais e 0 grau de seletividade do curso (medido através da relação 
ingressantes/concluintes). Em 2005, 0 IDD foi divulgado em forma 
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do seu escore, que varia de +3 e -3. Um escore positivo significa que 
0 desempenho médio dos concluintes do curso está acima do valor 
médio estimado (calculado a partir de dados de ingressantes com 
perfil de desempenho similar). Valores negativos indicam 0 oposto: 
0 desempenho médio dos concluintes está abaixo do que seria es- 
perado. Nesse cálculo, portanto, os valores negativos não significam 
que 0 desempenho médio dos concluintes é menor do que 0 dos 
ingressantes, mas que é menor que o desempenho médio esperado, 
tomando-se como base o perfil dos ingressantes. Diante da confusão 
criada pelo significado dos escores (especialmente os negativos), em 
2006 os resultados foram divulgados em forma de conceito (de 1 a 
5), utilizando a norma como referência. Essa decisão aproximou a 
distribuição de conceitos IDD daquela dos conceitos ENADE, com 
um percentual pequeno de cursos recebendo os conceitos 1 e 5 e 
uma concentração de conceitos em torno do nível 3 (40,4% do total). 
É importante enfatizar, no entanto, que embora as duas distribuições 
(dos conceitos ENADE e conceitos IDD) aparecessem praticamente 
idênticas, a correlação entre elas não foi perfeita (r = 0,65), pois nem 
sempre um curso com bom resultado entre os concluintes alcançou 
o desempenho estatisticamente esperado. (FERNANDES, et al., 2009) 
Em relação às tendências associadas com 0 IDD, pode-se concluir 
que seus resultados, tanto em 2005 quanto em 2006, foram mais 
positivos para os cursos na região Sul, seguidos por os da região Su- 
deste, e para as instituições públicas, especialmente as universidades 
federais. Dessa forma, 0 argumento feito por Fernandes (2009, p. 7) 
e outros pesquisadores de que “[...] 0 IDD é, provavelmente, uma 
medida enviesada contra os cursos que, por sua qualidade, atraem 
bons alunos” não foi sustentado pelos dados disponíveis. 

Quanto ao comportamento dos alunos se considerado 0 desempe- 
nho nas provas de formação geral, conforme já explicitado, o mesmo 
foi levantado a partir de dez perguntas iguais para todas as áreas. 
Surpreende 0 fato de que, nos três anos do ciclo, para todas as áreas, 
a diferença observada entre 0 desempenho médio de ingressantes 
e concluintes foi muito pequena e, em alguns casos, em direção 
contrária à esperada. Em 2004, por exemplo, em 17,2% dos cursos, 
os ingressantes fizeram melhor do que concluintes e, no caso da 
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área de Medicina, o percentual correspondente foi de 44,9%. Simon 
Schwartzman (2005) chamou esse fenômeno de 0 enigma do ENADE. 
Uma das razões para as pequenas diferenças pode estar no fato de 
que o número de itens usado para medir um amplo espectro de 
conhecimento e competências foi demasiadamente pequeno. Uma 
outra consideração é que os itens do componente de formação geral 
podiam ter sido melhor respondidos pelos alunos ingressantes por 
que tenderam à similaridade com as questões comuns aos vestibu- 
lares recentemente prestados, dessa maneira favorecendo-os. Vale 
acrescentar que, conforme lembra Verhine, Dantas e Soares (2006), 
as provas do ENADE não são pré-testadas e, como consequência, 
não foi possível que os desenvolvedores de teste predissessem o 
comportamento dos itens, fazendo adequações que se mostrassem 
necessárias de forma a evitar tal tipo de problema. 

Para a formação específica, medida por meio de 30 perguntas 
diferenciadas por área, as diferenças entre os ingressantes e con- 
cluintes foram bem mais evidentes do que foi 0 caso com a formação 
geral. Em relação às tendências por região e por tipo e natureza 
da instituição, as duas modalidades de formação comportaram-se 
de forma bastante similar. Os cursos da região Sul evidenciaram 0 
melhor desempenho, ficando em primeiro lugar em 19 das 48 áreas 
avaliadas, tanto na formação geral quanto na específica. Também 
para as duas modalidades 0 desempenho foi maior nas instituições 
públicas (quando comparado às instituições privadas) e nas universi- 
dades (quando comparadas aos centros universitários e faculdades). 
Ao confrontar as duas modalidades, observa-se que as instituições 
públicas, as universidades e, em especial, as universidades federais 
destacaram-se mais na formação específica do que na formação geral. 
As universidades federais, por exemplo, lideraram os outros tipos 
de IES em 35 áreas (das 48) no caso de formação específica, mas em 
apenas 25 (das 48) áreas em relação à formação geral. 

Apresentadas as principais tendências quanto aos conceitos dos 
cursos e o desempenho discente nas provas de formação geral e 
específica, é interessante observar também 0 perfil desses alunos, 
levantado por meio de questionário socioeconômico. Em avaliações 
de aplicação em larga escala, como 0 ENADE, dados socioeconômicos 
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são uma grande riqueza em termos de base de dados para estudos 
sobre a Educação Superior no Brasil. Os questionários têm mais 
de íoo questões e são trazidos já respondidos para entrega no dia 
da prova. Da mesma maneira, são extremamente importantes as 
perguntas feitas aos alunos sobre sua percepção da prova, especial- 
mente para as instituições responsáveis por sua elaboração (e futuro 
refinamento). No entanto, buscar tendências socioeconômicas e de 
percepção no período 2004 - 2006 é bastante mais complicado que no 
caso da formação geral e específica por vários fatores. Os resultados 
diferem de ano para ano visto que, em cada ano, é abordado um 
grupo de cursos diferente dos demais. Para um determinado ano, há 
diferenças entre os cursos sob consideração e, para cada curso, entre 
os ingressantes e os concluintes. Há diferenças também entre os que 
estudam em instituições públicas em relação aos que são matricula- 
dos em instituições privadas. Além disso, os relatórios referentes a 
cada um dos três anos diferem entre si quanto ao conteúdo abordado, 
à forma de abordagem e à densidade da análise realizada. Os autores 
buscaram, diante desse panorama, focalizar as tendências gerais 
mais evidentes em relação ao perfil dos estudantes e em relação à 
opinião sobre os cursos, que marcam 0 período como um todo. 

Na sua maioria, os alunos participantes (tanto ingressantes quan- 
to concluintes) são solteiros, de cor branca, moram com seus pais e/ 
ou parentes, estão inseridos em família que ganha até dez salários 
mínimos e têm pais que completaram, no mínimo, o ensino médio. 
Além disso, têm computador em casa e acessam a internet, afirmam 
ter bom conhecimento de informática, têm conhecimento de inglês 
(que dominam mais do que 0 espanhol), utilizam a biblioteca da 
instituição com razoável frequência e consideram a aquisição de 
formação profissional a principal contribuição do curso. Do lado 
mais negativo, 0 aluno típico estuda pouco (além das aulas, estuda 
no mínimo uma e no máximo cinco horas por semana), consulta 
jornais apenas ocasionalmente e lê no máximo dois livros por ano 
(excetuando-se os livros escolares). 

0 percentual de alunos brancos e 0 percentual de alunos ricos 
(que vêm de famílias que ganham mais de 20 salários mínimos/mês) 
tendem a ser maiores para os concluintes do que para os ingressantes. 


182 ROBERT E. VERHINE & LYS M. V. DANTAS 


Como é de se esperar, estas diferenças entre ingressantes e concluin- 
tes são, de modo geral, mais marcantes para contextos (instituições 
privadas e cursos de menor prestígio) em que a seleção inicial é 
menos rigorosa. Por outro lado, apenas considerando os concluintes, 
percebe-se um gradual aumento no decorrer do tempo do percentual 
de estudantes não brancos, de alunos originários de ensino médio 
em escola pública, de estudantes com pais com nenhuma ou pouca 
escolarização e de alunos que vêm de famílias com renda que se 
situa nas faixas inferiores. Assim, embora permaneçam traços de 
elitização, há indícios de que o ensino superior no Brasil está se 
tornando menos exclusivo do que no passado. 

Quando observada a percepção do alunado sobre seus cursos, 
percebe-se uma tendência a uma opinião positiva, com os ingres- 
santes e os alunos de instituições privadas sendo mais generosos 
em suas avaliações do que os concluintes e os alunos de institui- 
ções públicas. Nos três anos sob estudo, para alunos de instituições 
públicas e privadas, seus professores dominam o conteúdo que 
ministram, discutem o plano de ensino com eles no início do período 
letivo e apresentam orientações relevantes para o processo ensino- 
aprendizagem. Por outro lado, a opinião do aluno a respeito de seu 
professor tende a ser mais negativa (especialmente entre concluintes 
de instituições públicas) em relação ao desenvolvimento de ativi- 
dades de pesquisa como estratégia de aprendizagem e à utilização 
adequada de recursos audiovisuais e de tecnologia educacional com 
base na informática. A percepção sobre os professores é sofrível no 
tocante à orientação extraclasse e à adequação de procedimentos 
aos objetivos do curso. 

Das 20 ações de natureza didático-pedagógica apontadas no ques- 
tionário, quase a totalidade foi avaliada positivamente, com a grande 
maioria dos itens recebendo mais de 60 % de aprovação, em cada um 
dos três anos sob consideração. As ações do curso mais bem avaliadas 
pelos estudantes dizem respeito à contribuição das disciplinas para 
o desenvolvimento de competência de organização e expressão de 
pensamento, para a compreensão de processos, tomada de decisão e 
solução de problemas e para a observação, interpretação e análise de 
dados e informações. Em todos os três anos, no entanto, uma minoria 
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dentre os concluintes indicou que o currículo de seu curso foi bem 
integrado, havendo clara vinculação entre as disciplinas. Os alunos 
também tenderam a apontar problemas quanto à contribuição do 
curso para a compreensão/reflexão sobre problemas sociais. Em 2005, 
por exemplo, apenas 28,6% dos concluintes acharam que seu curso 
ofereceu oportunidade para vivenciar aspectos relacionados a ações 
comunitárias. Assim, os resultados sugerem que os alunos, em geral, 
estavam satisfeitos com as competências transmitidas, mas que foram 
mais críticos quanto à estrutura interna do currículo e à abordagem 
empregada pelo curso para questões relacionadas à cidadania. 

Em relação às instalações físicas e às condições de funcionamento 
do curso, os resultados para os 13 itens avaliados variaram muito, 
mas, como nos aspectos já discutidos, os concluintes foram geral- 
mente mais negativos do que os ingressantes e os alunos de institui- 
ções públicas tenderam a ser mais críticos do que os de instituições 
privadas. Elementos consistentemente bem avaliados incluíram 0 
horário de funcionamento da biblioteca e 0 espaço disponível para 
atividades pedagógicas. Por outro lado, a atualização e 0 tamanho 
do acervo da biblioteca e a existência de um serviço informatizado 
de pesquisa bibliográfica, bem como 0 acesso dos estudantes a com- 
putadores, foram considerados inadequados por muitos. 

Fica claro, a partir dos dados apresentados, que análises bem 
mais aprofundadas são necessárias. Não se sabe, por exemplo, se 
as opiniões dos estudantes refletem as verdadeiras características e 
condições dos cursos e seus professores, ou se são apenas impres- 
sões subjetivas pouco conectadas a uma realidade concreta. Será 
que as avaliações mais positivas de alunos de instituições privadas, 
quando comparadas com as de alunos de instituições públicas, signi- 
ficam que as privadas oferecem condições relativamente melhores? 
Até que ponto as opiniões registradas são influenciadas pelo perfil 
socioeconômico e psicológico do aluno? As diferenças observadas 
entre os três anos sob análise quanto aos perfis e às opiniões dos 
alunos são decorrentes de diferenças entre os conjuntos de cursos 
avaliados ou refletem mudanças longitudinais a respeito do corpo 
discente das IES no país? Espera-se que essas e outras perguntas de 
natureza similar se tomem alvos de estudo por parte de membros da 
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comunidade acadêmico-científica brasileira. Ao realizar tais estudos, 
outras fontes, tais como o Censo da educação superior e as pesquisas 
desenvolvidas pelo IBGE, devem ser consultados. 

Em que pese a riqueza de dados levantados pelas aplicações do 
ENADE, o Exame continua a sofrer pesadas críticas e se mantém 
cercado por pontos polêmicos. Endereçar essas questões é um ca- 
minho para contribuir para o refinamento do Sistema e, ao fazê-lo, 
favorecer a aprendizagem sobre elementos da avaliação. As questões 
polêmicas serviram como eixos de reflexão, tratados a seguir. 


EIXOS DE REFLEXÃO SOBRE O ENADE 

Essa subseção aborda cinco eixos de reflexão referentes à concep- 
ção e ao atual funcionamento do ENADE. Cada eixo trata de um 
aspecto do ENADE que tem sido um ponto de controvérsia, desde a 
criação do referido exame em 2004. Os eixos aqui focalizados são: 
pertinência do ENADE; sua finalidade; seu caráter obrigatório e a 
falta de equidade; a qualidade das provas; e 0 cálculo do conceito 
ENADE e do IDD. 

A PERTINÊNCIA DO ENADE 

Conforme foi discutido anteriormente, um modelo de teste obri- 
gatório aplicado a alunos, como 0 ENADE, é utilizado atualmente 
apenas no Brasil. Uma hipótese para a não utilização por outros 
países é que é amplamente acreditado que testes, a exemplo dos 
utilizados no modelo brasileiro, são limitados e capturam, no melhor 
dos casos, apenas uma porção daquilo que deve ser aprendido ou 
conhecido ao final de um curso de graduação. Neste sentido, exis- 
tem dois argumentos comumente apresentados por especialistas 
no assunto. Primeiro, tais especialistas afirmam que a maioria das 
profissões relacionadas à educação superior não requer a acumula- 
ção e memorização de conhecimento testável. Pelo contrário, tais 
profissões exigem, principalmente, habilidades e competências 
que abrangem, entre outras coisas, localizar conhecimento quando 
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necessário e, mais importante ainda, a capacidade para adquirir 
novo conhecimento, através de processos de aprendizagem contínua. 
Tais habilidades e competências são dificilmente captadas através 
de exames padronizados, escritos (embora o ENEM represente um 
avanço nesse sentido). Assim, os especialistas indicam que o uso 
de testes faz, talvez, algum sentido em áreas em que a aquisição 
de conteúdos específicos e/ou teóricos é intensiva (como direito e 
contabilidade, por exemplo), mas, para a vasta maioria das profissões, 
testes simplesmente não apreendem a essência da formação que um 
curso de graduação procura desenvolver. 

O segundo argumento usado pelos especialistas é que, mesmo em 
áreas em que testar torna-se justificável, é impossível desenvolver 
um teste suficientemente detalhado que possa ser aplicado de forma 
padronizada em uma amostra (ou população) nacional ampla. Qua- 
renta questões (dez para formação geral e 30 referentes à formação 
específica) simplesmente não são suficientes. Para fazer justiça a uma 
área de formação, 0 teste teria que ser bem mais extenso. O exame 
da OAB, por exemplo, é realizado em etapas, envolvendo, pelo me- 
nos, dois momentos diferentes de aplicação das provas. Nos Estados 
Unidos, 0 USMLE (Medicina), 0 MBE (Direito) e o CPAE (Contabilidade) 
são provas realizadas em múltiplas etapas, envolvendo mais do que 
um dia. Assim, para assegurar a validade dos resultados do ENADE, 
seria necessário aumentar significativamente 0 número de itens e 
consequentemente o tempo do teste (que é atualmente de quatro 
horas), 0 que poderia introduzir um fator negativo que é 0 cansaço 
de quem está a ele se submetendo e, ainda, acrescentar em muito 
0 custo global do processo de implementação. 

Apesar das limitações inerentes ao ENADE, o modelo é defensável 
por três razões. Em primeiro lugar, considerando que a utilização 
de testes representa algo concreto e operacional, sua utilização tem 
ajudado a criar um clima favorável à avaliação da educação superior. 
Antes do Provão e do ENADE, embora a necessidade da avaliação 
da educação superior fosse amplamente reconhecida, tinha sua 
implementação impedida por formuladores em busca do modelo 
“perfeito”. Atualmente, a avaliação da educação superior faz parte 
permanente do cenário nacional. Em segundo lugar, 0 questionário 
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socioeconômico que acompanha o exame tem gerado, como foi 
visto anteriormente, uma gama de dados de grande valor, vez que 
resultam em importantes informações sobre as características e opi- 
niões dos estudantes da educação superior no Brasil. Sem os testes, 
tais questionários poderiam nunca ser preenchidos em uma escala 
ampla e, como consequência, o conhecimento sobre e nossa com- 
preensão a respeito do corpo discente nacional seriam muito mais 
restritos do que a situação atual. Finalmente, pode-se argumentar 
que os testes, embora imperfeitos na apreensão de resultados, são, 
certamente, melhores do que nada. É melhor ter alguns resultados 
do que nenhum deles. Mas é importante ressaltar que as limitações 
de tais resultados têm que ser conhecidas e, ademais, eles nunca 
deveriam ser tomados como a única medida de qualidade. É somente 
combinando-os com outros indicadores, inclusive os que tratam de 
insumos, frequentemente mais bem mensuráveis através de visitas 
in loco, que se pode avaliar a qualidade de cursos de graduação e, por 
extensão, das instituições brasileiras de educação superior. 

A FINALIDADE DO ENADE 

Na época do Provão existia uma ampla compreensão de que o exame 
era uma forma de avaliar cursos e não os alunos em si. No caso do 
ENADE, tal compreensão, embora ainda válida, tem sido prejudicada 
pela forma com que o SINAES foi estruturado pela Lei n ° 10.861/04. 
A referida lei determina que o SINAES seja composto por três dimen- 
sões, abrangendo a avaliação de instituições, a avaliação de cursos 
e a avaliação do desempenho dos estudantes. Assim, a impressão 
que se tem é que os alunos são alvo de avaliação. Mas este não é 
0 caso; 0 resultado de cada aluno é sigiloso, comunicado para ele 
apenas, e, consequentemente, seu desempenho não tem nenhuma 
consequência ou impacto individual. É importante ressaltar que é 
0 “desempenho” dos alunos que está sob consideração, e este de- 
sempenho, calculado em termos da média do conjunto de alunos, é 
uma forma de avaliar a qualidade de cada curso. O SINAES, em vez 
de composto de três componentes independentes, de igual peso, é 
melhor entendido como um funil, em que os resultados da avaliação 
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ii A partir da introdução 
do Conceito Preliminar 
de Cursos (CPC), nem 
todos os cursos recebem 
visita - ver Fernandes 
e outros pesquisadores 
(2009). Vale ressaltar 
também que as comissões 
que avaliam cursos e as 
comissões que avaliam 
instituições são distintas, 
cada uma com uma 
capacitação específica e 
utilizando instrumentos 
e procedimentos 
diferenciados. 


do desempenho do aluno (no seu conjunto) alimentam a avaliação 
do curso e os resultados da avaliação do curso (no seu conjunto) ali- 
mentam a avaliação institucional, sendo esta última (0 topo do funil) 
0 foco principal do SINAES. Fala-se em funil porque, indo do mais 
específico (ENADE) para o mais abrangente (Avaliação Institucional), 
novos elementos de avaliação vão sendo acrescentados. A avaliação 
dos cursos incorpora também os resultados da visita realizada por 
uma comissão de especialistas. Na avaliação institucional, além da 
avaliação dos cursos (feita pelo ENADE e pelas visitas), adicionam-se 
os resultados da autoavaliação institucional e de uma visita à insti- 
tuição, também realizada por uma comissão de especialistas 11 . 

A confusão gerada pela Lei n° 10.861/04 referente à finalidade 
do ENADE tem provocado resistências. Os alunos (e sua represen- 
tação nacional) sentem-se prejudicados, forçados a se submeter a 
uma avaliação, na visão de muitos deles, desagradável, injusta e 
desnecessária. Se fosse compreendido que a participação do aluno 
representa uma contribuição para 0 asseguramento da qualidade 
do seu curso, da sua instituição e do sistema nacional de educação 
superior, a resistência que persiste poderia ser reduzida. Em vez de 
encarar 0 exame como uma punição (individual e coletiva), 0 aluno 
deveria entender sua participação como uma contribuição social, 
como uma das responsabilidades que compõem a cidadania. 

Além dos alunos, muitos representantes institucionais, especial- 
mente os associados a entidades privadas, têm aproveitado a nebu- 
losidade da lei para insistir na divulgação pública dos resultados 
individuais do aluno. É arguido que tais resultados seriam úteis para 
identificar os alunos com problemas de aprendizagem e valorizar os 
que demonstram desempenho positivo. Seriam também valiosos no 
mercado de trabalho, servindo como um sinal para 0 empregador 
ao selecionar entre candidatos que buscam contratação. Além disso, 
segundo a mesma linha de raciocínio, a divulgação pública faria 
com que os que fizessem o exame tentassem fazer 0 melhor possível, 
gerando, assim, avaliações mais confiáveis. Mas, se adotada, esta po- 
sição teria severas consequências para 0 futuro do SINAES, mudando 
drasticamente seu foco, que agora está no curso e, especialmente, 
na instituição e provocando resistências por parte dos estudantes 
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muito mais fortes do que as até agora manifestas. Tal mudança criaria 
possibilidade para o abuso e mal uso de informações, pois os resulta- 
dos poderiam ser usados, dentro da instituição, para gerar punições 
(tanto concretas como simbólicas) indesejáveis. É bom lembrar que 
o ENADE, do modo com que é delineado hoje, não se presta a exame 
de ordem ou a certificação profissional, não sendo nem remotamente 
adequado para utilização direta pelo mercado de trabalho. 

Ante as considerações acima, deve-se registrar que a prática de 
premiação empregada pelo ENADE (e anteriormente pelo Provão) é 
inconsistente com a concepção do SINAES, pois identifica e premia 
o aluno individualmente. Embora a premiação seja vista por muitos 
(incluindo os alunos-ganhadores) como algo benéfico, sua utiliza- 
ção é contrária aos princípios que norteiam o SINAES e alimenta a 
confusão - e a polêmica - acima apontada 12 . 

A OBRIGATORIEDADE E A (FALTA DE) EQUIDADE DO ENADE 

Relacionadas à confusão sobre a finalidade do ENADE estão algumas 
questões em torno de sua obrigatoriedade e equidade. Conforme foi 
mostrado por Paiva (2008), essas duas qualidades foram implementa- 
das de forma consistente e complementar na época do Provão, pois 
todos os concluintes, em determinadas áreas 13 , foram obrigados a 
prestar 0 exame. No caso do ENADE, a aplicação por área é trienal 
e a seleção de alunos participantes tem sido amostrai, com os não 
selecionados sendo oficialmente dispensados. Dessa maneira, embo- 
ra 0 ENADE seja um componente obrigatório do currículo, 0 aluno 
participa ou não dependendo de seu ano de conclusão e sua “sorte” 
na seleção amostrai. Isto contribui para 0 sentimento de “injustiça” 
que muitos estudantes demonstram em relação ao ENADE e também 
gera a impressão, por parte do público em geral, que existem brechas 
para “manipulações” amostrais. Como consequência, a credibilidade 
do sistema nacional de avaliação fica prejudicada. Pergunta-se, assim, 
porque a obrigatoriedade e, sendo obrigatório, porque o ENADE, 
diferentemente do Provão, não pratica a equidade? 

A obrigatoriedade do ENADE é condição necessária para atender 
seu objetivo de avaliar cursos. Se 0 ENADE fosse voluntário (como 


12 Nos anos 2004 a 
2006, o INEP ofereceu 
bolsas CAPES para pós- 
graduação ao estudante 
com o escore mais 

alto em cada uma das 
áreas avaliadas. Essa 
premiação suscita 
um questionamento 
básico: como o INEP lida 
com empates entre os 
estudantes? Quanto a 
isto, vale registrar que 
nenhuma informação 
sobre os procedimentos 
de desempate tem 
sido divulgada, antes 
ou mesmo depois da 
aplicação das provas. 

13 A cada ano, 
novas áreas foram 
acrescentadas, chegando, 
no seu último ano (2003), 
a um total de 26, ou seja, 
um número bem menor 
do que o número de áreas 
que são reconhecidas pelo 
INEP. Por essa razão, a 
menção a “determinadas 
áreas”. 
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14 Na sua forma 
atual, o ENADE custa 
aproximadamente 
R$ 20 milhões/ano e 
requer uma quantidade 
grande de salas de 
aula (mais de 18 mil, 
segundo dados do INEP 
em 2008) e aplicadores. 
Comparando-o ao Provão, 
deve ser lembrado 
que este último nunca 
abrangeu todas as áreas 
(só 26 de 48 em 2003) 
e não contemplou os 
ingressantes. 


a UNE e outras organizações estudantis advogam), os alunos partici- 
pantes não seriam necessariamente representativos do conjunto de 
discentes no curso e, assim, seus resultados não seriam confiáveis. 
0 ENADE deixaria de ser uma forma de avaliar cursos, tendo como 
sua única finalidade a avaliação do aluno como indivíduo, algo que, 
como vimos na subseção anterior, não seria recomendável. 

A falta de equidade, por outro lado, é justificada não por uma 
razão teórico/conceituai, mas de ordem prática. Se fossem avaliadas 
todas as áreas e todos os ingressantes e concluintes em todos os anos, 
seria necessário testar anualmente aproximadamente 1 milhão de 
alunos, representando mais de 20 mil cursos, sendo esses números 
crescentes no decorrer do tempo. Uma aplicação de tal magnitu- 
de seria extremamente cara e muito complicada logisticamente 14 . 
Assim, a ausência de eqüidade deve ser entendida como sendo um 
dos preços pagos para a viabilização do ENADE diante de um sistema 
de ensino enorme e ainda em crescimento. Espera-se que a polêmica 
em torno da questão seja diluída na medida em que a participação 
estudantil esteja compreendida como uma contribuição social. 

Apesar da questão de viabilização prática, no entanto, o INEP 
decidiu, no final de 2008, que, a partir de 2009, as aplicações do 
ENADE serão censitárias e não mais amostrais. Esta determinação 
serve para atenuar, mas não eliminar, 0 problema da equidade, pois 
a participação trienal de cada área será mantida. A decisão do INEP 
tem méritos e deméritos, pois, por um lado, elimina uma importante 
fonte de resistência e desconfiança, mas, por outro, aumenta 0 custo 
do ENADE (em aproximadamente 40%), aumenta as dificuldades 
logísticas, e, por envolver todos os alunos da população-alvo, poten- 
cialmente agrava a tendência (equivocada) de ver 0 ENADE como 
uma avaliação do aluno em vez de uma avaliação do seu curso. Vale 
registrar que, embora 0 enfoque amostrai tenha sido descartado por 
agora, é bem provável que tenha de ser re-introduzido no futuro, pois 
o sistema (e, assim, o custo) deve continuar a crescer. Ao expressar 
tais reservas, sabe-se que a introdução da abordagem censitária tem 
sido aplaudida não apenas pelo público em geral, mas também por 
um bom número de especialistas no assunto. Argumenta-se que 
0 processo da escolha da amostra é mais custoso do que normal- 
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mente reconhecido e que as bases técnicas do processo amostrai 
são suspeitas devido à falta de informação prévia sobre o perfil 
da população-alvo. A amostra também tem sido criticada por não 
considerar, separadamente, os alunos de turno diurno daqueles do 
noturno. Alega-se, nesse sentido, que, se os dois grupos recebessem 
um tratamento amostrai diferenciado, a porcentagem da amostra 
global seria muito mais alta, o que reduziria a vantagem econômica 
do enfoque amostrai em relação à abordagem censitária. 

A QUALIDADE DAS PROVAS DO ENADE 

A qualidade das provas do ENADE pode ser questionada a partir de 
diversos ângulos. Uma crítica frequentemente apontada diz respeito 
ao fato de que as provas não são baseadas em critérios preestabe- 
lecidos referentes ao desempenho esperado ou desejado. O ENADE 
apenas classifica os cursos avaliados mediante a comparação de 
seus resultados entre si, no mesmo campo de conhecimento, sem o 
estabelecimento de um padrão mínimo satisfatório a ser alcançado. 
Deve-se observar, no entanto, que é muito difícil o estabelecimento 
de especificações de teste para o ensino superior, considerando a 
complexidade das competências requeridas pelas carreiras que de- 
mandam grau superior. Um teste referenciado a critério adequado 
deveria conter um amplo número de questões, o que inviabilizaria 
sua aplicação em um período razoável. Assim, a crítica, embora vá- 
lida, é de difícil sustentação diante de questões de ordem prática. 

Entretanto, é razoável argumentar que, até considerando as li- 
mitações impostas pela prática, o número de questões na prova é 
demasiadamente pequeno, especialmente quando considerado o 
componente de formação geral: dez perguntas não são suficientes 
para medir o conhecimento e as competências que estão postas nas 
especificações que, de acordo com o Exame Nacional de Desempenho 
dos Estudantes: ENADE 2004: resumo técnico (INEP, 2005), devem medir: 
1) ética profissional, 2) competência profissional, e 3) compromisso 
profissional com a sociedade em que vive. Além disso, devem avaliar 
a habilidade do estudante para analisar, sintetizar, criticar, dedu- 
zir, construir hipóteses, estabelecer relações, fazer comparações, 
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detectar contradições, decidir, organizar, trabalhar em equipe, e 
administrar conflitos. Além dessas 12 competências, as dez questões 
do teste devem considerar 11 diferentes temas, aí inclusos bio e 
sociodiversidade, políticas públicas, redes sociais, cidadania, e pro- 
blemáticas contemporâneas. (INEP, 2005, p. 10) Em que medida esses 
11 temas são relacionados à ética, à competência e ao compromisso 
profissionais não fica claro, assim como as análises não aprofundam 
a relação do desempenho dos alunos com os temas transversais 
propostos. A partir da leitura dos resumos técnicos produzidos no 
decorrer do ciclo 2004-2006, não foi possível identificar uma lógica 
coerente embasando 0 componente de formação geral. 

As questões do componente específico são mais difíceis de avaliar 
por que diferem entre as várias áreas. Tudo indica, no entanto, que 
elas também são de número insuficiente para cobrir todo 0 escopo 
proposto. Neste sentido, vale lembrar que 0 ENADE aplica 0 mesmo 
teste a ingressantes e concluintes e, por essa razão, as questões 
deveriam cobrir os vários estágios de aprendizagem esperados em 
diferentes momentos do curso. O problema de um número insufi- 
ciente de perguntas de natureza específica é exacerbado pelo fato 
de o número total de questões ser obrigatoriamente igual a 30. 
Como consequência, 0 grau de cobertura do escopo de cada teste 
provavelmente tem variado substancialmente pelas áreas, pois a 
amplitude das especificações tem se diferenciado significativamente 
de uma área para outra. 

Uma outra limitação que prejudica a qualidade das provas do ENA- 
DE trata da ausência de pré-testagem dos itens, 0 que significa que 
um procedimento técnico fundamental para assegurar a validade 
e confiabilidade do instrumento não tem sido realizado. De acordo 
com fontes do INEP, essa ausência é resultante de cronogramas 
apertados para a elaboração dos testes, muitas vezes associados à 
quantidade de tempo gasta no processo licitatório para contratação 
das instituições elaboradoras e que é realizado a cada ano. É impor- 
tante registrar que os itens e as provas, após aplicação, são tornados 
públicos e discutidos pelas comissões, agências elaboradoras, e INEP, 
além de serem submetidos a um crivo estatístico (parte do processo 
de análise dos dados). Entretanto, essas ações pos-facto não podem 
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ser consideradas adequadas para a composição das provas devido 
à natureza do exame, caracterizado por um número pequeno de 
perguntas e composto de itens que não são re-utilizados. 


O CÁLCULO DO CONCEITO ENADE E DO IDD 


Tanto o Conceito ENADE quanto o Conceito IDD têm sido focos de 
controvérsia. O Conceito ENADE tem sido composto dos resultados 
dos concluintes referentes à formação específica (60%), os resul- 
tados dos ingressantes referentes à formação específica (15%) e os 
resultados dos concluintes e ingressantes, em conjunto, referentes 
à formação geral (25%). Assim, os ingressantes são responsáveis por 
aproximadamente 30% do conceito do curso 15 . Dessa forma, alunos 
que estão no início do curso e, consequentemente, apenas come- 
çando 0 processo de aprendizagem no nível superior, acabam tendo 
um impacto significativo na determinação do conceito atribuído. 
Este procedimento de cálculo tem sido amplamente criticado por 
diversos autores, uma vez que distorce 0 resultado de forma a fa- 
vorecer os cursos que, independente de sua qualidade, conseguem 
atrair os melhores alunos (ver, por exemplo, CASTRO, 2008). Existe, 
no entanto, uma lógica que fundamenta 0 procedimento adotado, 
que se baseia no desejo de captar não apenas 0 desempenho médio 
dos alunos do curso, mas também a aprendizagem (ou seja, 0 valor 
agregado) que 0 curso consegue promover. Foi devido a esse desejo 
que os ingressantes foram incluídos no ENADE, para permitir uma 
comparação entre seus resultados e os dos concluintes. Mas tal 
comparação só é possível na medida em que os ingressantes estão 
motivados a responder 0 teste da melhor maneira que possam. Seria 
um desastre se os ingressantes optassem por obter uma nota baixa, 
contribuindo, dessa maneira, para um “valor agregado” artificial- 
mente inflacionado. Foi para evitar esse tipo de comportamento 
que os resultados dos ingressantes foram incorporados ao conceito 
do curso, como forma de assegurar que os ingressantes, do mesmo 
modo que os concluintes, fossem incentivados a buscar 0 melhor 
desempenho possível. Utilizando a linguagem do economista, houve 
um Lrade off, pois a qualidade do Conceito ENADE foi prejudicada 


15 Chega-se a esta 
estimativa somando os 
15% referentes à formação 
específica e três quintos 
dos 25% referentes à 
formação geral. 
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i6 Segundo o INEP, 
a partir de 2009, o 
desempenho do aluno 
ingressante deixará de 
compor a nota ENADE, 
mas será utilizada como 
integrante do Conceito 
Preliminar de Cursos 
(CPC), discutido na nota 21 
posterior. 


para fortalecer a qualidade do indicador (que subsequentemente se 
tornou 0 Conceito IDD) que mensurava o valor agregado 16 . 

A pergunta que nos resta é se o trade off valeu a pena. Por um lado, 
pode-se arguir que o Conceito ENADE não foi seriamente prejudicado, 
porque os resultados dos concluintes (como os dos ingressantes) são 
também influenciados pela qualidade dos alunos na entrada. Assim, 
independentemente de contemplar, ou não, os resultados dos ingres- 
santes, o Conceito ENADE tem uma tendência de premiar os cursos 
que atraem os melhores alunos. Por outro lado, pode-se dizer que 
0 referido trade off não se justificou, uma vez que a noção do valor 
agregado e sua forma de mensuração no contexto do ENADE não 
são conceitualmente sustentáveis. Esta última perspectiva merece 
um aprofundamento maior. 

Conforme já relatado, o IDD foi introduzido, em 2005, para captar 
0 valor agregado de forma mais sofisticada do que 0 procedimento 
até então utilizado. O IDD não é uma mera subtração da nota dos 
calouros daquela dos formandos, mas estima, baseado nos dados dos 
ingressantes, uma expectativa de nota final. Para isso, considera não 
apenas os escores dos testes, mas também a educação dos pais e a 
seletividade do curso (percentagem dos ingressantes que concluem 
a graduação). Esta aparente sofisticação, embora louvável, não é 
suficiente para compensar um problema conceituai fundamental. 
O IDD erra por partir da premissa de que os ingressantes e os con- 
cluintes são comparáveis quando, na verdade, os dois grupos não 
são necessariamente equivalentes. Os perfis de estudantes de um 
determinado curso ou instituição tendem a se modificar no decorrer 
do tempo, primeiro porque a composição de ingressantes está em 
constante mudança por causa de transformações mais macro no país 
e segundo porque boa parte dos alunos ingressantes em um determi- 
nado ano não está entre os que concluem três anos depois, devido 
a processos de evasão, transferência, reprovação ou, simplesmente, 
atraso nos estudos. Assim, para vários especialistas, 0 IDD não é um 
indicador confiável e, apesar de sua complexidade matemática, não 
merece a valorização que vem recebendo. 

Uma sugestão para superar 0 problema de mensuração do “valor 
agregado” seria a utilização dos resultados do ENEM para medir as 
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competências do ingressante e para estimar seus resultados espera- 
dos ao concluir seu curso. Tais resultados esperados seriam, então, 
comparados com resultados do próprio aluno no ENADE (que seria 
aplicado apenas para concluintes). No momento desta redação, esta 
possibilidade está sendo avaliada pelo INEP, tendo boas chances 
de ser implementada em futuro próximo. Para esta ideia funcio- 
nar, duas adaptações seriam necessárias. Primeiro, o ENEM, agora 
opcional, teria de se tornar obrigatório, pelo menos para os que 
pretendem estudar em instituição de ensino superior. Segundo, os 
exames do ENEM e do ENADE teriam que ser equacionados de forma 
a permitir comparações entre eles. Neste sentido, seria necessário 
reestruturar a matriz de competências do componente específico do 
ENADE, retirando o foco dos conteúdos de área e redirecionando-o 
para competências e habilidades proporcionadas pela formação em 
nível superior. Vez que o ENADE não é um teste ocupacional, essa 
mudança não seria prejudicial para a avaliação da qualidade dos 
cursos no contexto do SINAES. 

Apresentadas as principais polêmicas que cercam o ENADE, a 
seção a seguir relaciona algumas sugestões para seu aprimoramento 
e, principalmente, faz uma análise do ENADE no contexto do sistema 
que avalia a Educação Superior no Brasil. 


CONSIDERAÇÕES FINAIS 

Da leitura das seções anteriores, podem ser sintetizadas as sugestões 
para o aprimoramento do ENADE no contexto SINAES: 

a) Manutenção da avaliação de cursos por meio do desempenho 
dos estudantes, com refinamento dos testes aplicados, devida- 
mente acompanhados pelos questionários socioeconômicos 
e de levantamento de percepção. 

b) Disponibilização da base de dados para e incentivo amplo a 
pesquisadores interessados na compreensão dos fenômenos 
que caracterizam a educação superior no Brasil. 

c) Vasta campanha de divulgação do caráter de contribuição social 
do aluno, ao participar do ENADE, para a avaliação do seu curso 
e na busca por uma maior qualidade no ensino superior. 
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17 Essa sugestão 
é especialmente 
implementável visto 
que o governo federal 
recomendou o ENEM 
como prova de ingresso 
às universidades no 
Brasil. Tal uso do ENEM 
foi proposto à sociedade 
brasileira em março de 
2009 e foi aceito, parcial 
ou integralmente, por 
muitas universidades 
federais para implantação 
ainda em 2009. 


d) Utilização do ENEM como prova de entrada para os cursos 
de graduação, com posterior aplicação do ENADE apenas 
aos alunos concluintes 17 . Decorrente dessa sugestão seriam 
necessárias algumas medidas: 

Atribuição de caráter obrigatório ao ENEM para os alunos 
ingressantes em cursos de nível superior. 

Revisão da matriz de competências do ENADE, de forma a 
melhor integrar o componente de formação geral ao compo- 
nente específico. 

Delineamento ENEM - ENADE de modo a garantir compara- 
bilidade entre os testes. 

Revisão, portanto, dos indicadores de desempenho e de valor 
agregado. 

e) Realização de estudos e de experiências-piloto no sentido de 
referenciar esse novo ENADE a critério. 

f) Condução de processos licitatórios para contratação das insti- 
tuições responsáveis pelas elaboração e aplicação de testes que 
incluam a prestação de serviços por períodos mais longos que 
os atuais e, com isso, possibilitem a pré-testagem de itens e 
testes e o refinamento dos instrumentos, com grande impacto 
para sua qualidade no formato final. 


O ENADE não é perfeito como, de resto, nenhuma avaliação 
consegue sê-lo. Ao final do primeiro ciclo, podiam ser percebidos 
aspectos positivos e negativos no Exame e no Sistema que o abrigava. 
A sugestão maior que aqui se apresenta é no sentido que as críticas 
e os problemas identificados sejam endereçados e, nesse processo, 
aprimorem o sistema. Nesse sentido, o maior cuidado a ser tomado 
é a articulação do ENADE com outros componentes do SINAES. 

Quando observado o panorama da avaliação da educação superior 
no Brasil, assim como ocorreu no Provão, o ENADE tem se tornado 
0 componente central de um sistema que foi expressamente criado 
para evitar a possibilidade de tal centralidade. Em outras palavras, o 
ENADE está se tornando o Provão, produzindo resultados que estão 
virando, em si, a avaliação dos cursos. Este problema tem aconte- 
cido porque, até o presente momento, os demais componentes do 
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SINAES não têm sido integralmente implementados, o que acaba 
dando ao ENADE uma importância não prevista e, na opinião de 
muitos, indesejada. 

As razões pelo atraso na implementação dos componentes “avalia- 
ção de cursos” e “avaliação de instituições” são várias, mas são três 
as que se destacam. Em primeiro lugar, esses dois componentes se 
baseiam em visitas externas por parte de comissões especializadas 
e, assim, dependem do desenvolvimento de processos de seleção, 
capacitação e acompanhamento de avaliadores. O INEP inicialmente 
estimou uma força de trabalho com um total de 9.000 avaliadores 
capacitados, incluindo tanto os treinados para avaliar cursos quan- 
to os preparados para avaliar instituições. Entretanto, as ações de 
recrutamento, seleção e capacitação levam tempo e, até 0 final de 
2008, 0 total de avaliadores capacitados girava em torno de 6.000, ou 
seja, aquém do número necessário. Além disso, visitas preliminares, 
realizadas em 2007 e 2008, revelaram que formar um bom avaliador 
é bem mais difícil do que originalmente previsto pelos responsáveis 
pela capacitação. Ficou evidente que 0 fato de uma pessoa ser pro- 
fessor de ensino superior, ter um bom curricúlum vitae e interesse 
na avaliação, e ter passado por uma capacitação de três ou quatro 
dias não foi suficiente para assegurar o perfil requerido. Diante 
desse quadro, ao final de 2008, foi necessário efetuar uma segunda 
rodada de capacitações, dando os já capacitados um treinamento 
ainda mais aprimorado. 

Um segundo elemento que contribuiu para 0 atraso foi a neces- 
sidade de aperfeiçoar os instrumentos utilizados pelos avaliadores 
durante as visitas. Os referidos instrumentos foram originalmente 
concluídos e oficialmente autorizados no início de 2007, mas a 
utilização dos mesmos nas visitas realizadas subsequentemente 
indicou a necessidade de uma série de reformulações. Apesar da 
sua aparente sofisticação, os instrumentos não funcionaram bem 
na prática, por serem demasiadamente extensos e complexos. Como 
resultado, os instrumentos, tanto para cursos quanto para insti- 
tuições, foram reelaborados em 2008, buscando sua simplificação. 
O número de indicadores e o nível de detalhamento dos degraus de 
avaliação foram reduzidos. Além disso, a redação assumiu um caráter 
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i8 No instrumento para 
a avaliação de cursos, o 
número de indicadores 
foi reduzido de 106 
para 26 e o número de 
degraus definidos foi 
reduzido de 530 para 26. 

No instrumento para a 
avaliação de instituições, 
o número de indicadores 
foi reduzido de 73 para 41 
e o número de degraus 
definidos foi reduzido de 
365 para 41. 


19 Em 2008, o CPC 
foi composto de três 
indicadores: o escore no 
ENADE, o escore referente 
ao IDD e uma medida que 
abrangia quatro sub- 
dimensões dos insumos 
do curso. Todos os cursos 
nos níveis mais baixos da 
escala do CPC (níveis 1 e 2) 
deveriam ser visitados. Os 
demais cursos (ou seja, os 
com um CPC de 3, 4 ou 5) 
poderiam, se desejassem, 
solicitar uma visita de 
avaliação. Contudo, se 
não o fizessem dentro 
de 30 dias, o conceito 
preliminar seria mantido 
como conceito final. 
Naquele ano, apenas 
27 cursos solicitaram a 
referida visita. 


mais direto e a quantidade de determinações avaliativas exigidas do 
avaliador foi diminuída 18 . 

O terceiro fator impedindo a implementação plena do SINAES - e 
certamente o mais importante - diz respeito ao tamanho do sistema 
nacional de educação superior. Conforme a Lei n° 10.861/04, todas as 
instituições e todos os cursos que compõem 0 referido sistema na- 
cional deveriam ser visitados no decorrer do ciclo trienal do SINAES. 
Isto significa a realização de visitas a mais de duas mil instituições 
e 20 mil cursos de três em três anos, 0 que é inviável do ponto de 
vista logístico. O INEP calcula que tem, na melhor das circunstâncias, 
a capacidade para realizar, no máximo, 4.000 visitas por ano. Foi 
devido a esse impasse que 0 Instituto criou, em 2008, 0 Conceito 
Preliminar do Curso (CPC). O CPC busca viabilizar a avaliação de 
cursos ao permitir identificar aqueles que necessitam da visita ao 
tempo que, com base em informações confiáveis e já existentes, 
atribui um conceito aos demais. Com a introdução do CPC, estima- 
se que apenas 25% dos cursos teriam que ser visitados, 0 que torna 
alcançável 0 número total de visitas que precisam ser realizadas por 
ano (somando as de cursos com as de instituições) 19 . 

No presente momento (meada de 2009), tudo indica que os três 
impedimentos acima mencionados tenham sido superados e a im- 
plementação do SINAES, na íntegra, esteja acontecendo. O INEP se 
propõe a concluir, até 0 final do ano de 2009, a avaliação de todas as 
instituições e de todos os cursos com CPC baixo (1 ou 2) que participa- 
ram do ENADE em 2007. Em 2010, 0 foco será a avaliação dos cursos 
que participaram do ENADE em 2008, e assim por diante. Espera-se 
que, com tais avanços, 0 ENADE perca sua centralidade e assuma 0 
papel originalmente pretendido, de apenas um componente (entre 
três) de um sistema de avaliação pluridimensional e multifacetado. 
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Identidade, avaliação e 
desempenho escolar 


Marcos Emanoel Pereira (UFBA) 


INTRODUÇÃO 

O presente texto procura destacar o impacto das ameaças à identi- 
dade social na conduta humana, atendo-se em particular ao impacto 
dos diferentes tipos de ameaças sobre o desempenho em condições 
de julgamento ou avaliação. 

Defende-se o ponto de vista de que o sistematismo, ao ofere- 
cer uma alternativa ontológica e metodológica capaz de superar 
a visão dicotômica imposta pelas perspectivas meta-teóricas do 
individualismo e do holismo, representa um avanço significativo e 
oferece respostas para muitas questões controversas que imperam 
na psicologia social. (BUNGE, 1987) A versão do sistematismo aqui 
acenada acentua a necessidade de identificar 0 papel exercido por 
três elementos essenciais no entendimento das diferentes formas 
de relação entre 0 indivíduo e a sociedade: a dimensão contextuai, 
a dimensão posicionai e a dimensão individual. (BUNGE; ARDILA, 
2002) No que concerne ao primeiro elemento, é importante dife- 
renciar como os vários tipos de contexto impõem distintas manei- 
ras de expressão das ameaças. As questões que se manifestam em 
um ambiente escolar ou acadêmico podem não ser exatamente as 
mesmas que se aplicam em outros contextos, como, por exemplo, 0 
laborai ou 0 de lazer. Em relação à dimensão posicionai, é importante 
acentuar que as posições ocupadas pelos indivíduos no âmbito das 
relações interpessoais e intergrupais também devem ser considera- 
das, uma vez que 0 impacto das ameaças à identidade se manifesta 


de forma diferenciada, a depender da posição ocupada pelo agente, 
seja ela a de percebedor ou avaliador ou a de avaliado ou alvo do 
julgamento. Enfim, o terceiro elemento se refere às diferenças indi- 
viduais e se sustenta na premissa de que o efeito das ameaças não 
se manifesta de forma homogênea em todos os membros de uma 
mesma categoria, sendo mediado pelas características particulares 
de cada indivíduo. 

A partir desse modelo geral, as próximas seções do presente 
capítulo serão dedicadas a discutir os problemas teóricos e me- 
todológicos suscitados pela avaliação de pessoas, a sugerir como 
estas questões repercutem no contexto educacional, a recensear as 
diferentes formas pelas quais as ameaças incidem sob o avaliador e 
o avaliado e refletir sobre os tipos de ameaças aos quais os indivíduos 
afiliados às distintas categorias sociais se encontram sujeitos. 


PROBLEMAS SUSCITADOS PELA 
AVALIAÇÃO DE PESSOAS 

Nomear e mensurar sempre foram operações que acarretaram pro- 
blemas para os psicólogos, embora as controvérsias sobre o uso 
apropriado dos conceitos e termos psicológicos sejam bem menos 
intensas, do que as suscitadas pelo amplo debate relativo à possibi- 
lidade de mensurar a constructos aos quais não se consegue nomear 
de modo inequívoco. 

Identifica-se bem esta dificuldade após a introdução, por Binet 
e Simon, no início do século XX, dos testes de mensuração da in- 
teligência. A adoção do quociente de inteligência como medida do 
constructo inteligência se populariza em definitivo no momento em 
que foi utilizado para mensurar de forma rápida e relativamente 
precisa as capacidades intelectuais de milhões de recrutas, durante 
a primeira guerra mundial. A partir de então, o seu uso se difunde 
rapidamente, passando a ser amplamente utilizado com a finalidade 
de mensurar as capacidades e habilidades de indivíduos em contex- 
tos tão diversos quanto os trabalhadores no contexto laborai ou os 
estudantes no ambiente escolar. 
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Os psicólogos que se dedicam à mensuração ou avaliação dos 
fenômenos e processos psicológicos acolhem, ainda que de forma 
implícita, uma teoria da medida que admite e reconhece que todo 
e qualquer escore reflete a influência de dois fatores, um relati- 
vo ao próprio constructo que está mensurado e, por outro lado, 
uma certa medida de imprecisão, denominada variância de erro. 
Como os erros podem ser aleatórios ou sistemáticos, é importante 
ser capaz de identificar qual a natureza do erro e como este pode 
comprometer a medida. Embora a detecção dos erros sistemáticos 
seja difícil, eles, em contrapartida, possuem um menor potencial 
de comprometimento da medida, pois qualquer erro aleatório se 
manifesta de uma forma relativamente homogênea nos diferentes 
grupos e condições, o que toma os seus efeitos negativos bem menos 
pronunciados que os exercidos pelos erros sistemáticos. Este último 
tipo de erro continua sendo uma grande fonte de preocupação para 
pesquisadores e estudiosos, dado o enorme risco que eles acarretam, 
não tanto no que se refere à confiabilidade ou fidedignidade da 
medida, mas especialmente à validade, ou seja, ao cerne daquilo 
que se mensura. Afinal de contas, se uma medida se refere a um 
constmcto como a inteligência e mensura um outro, como a atenção 
ou a concentração, por exemplo, pouco adianta serem tomadas 
precauções no sentido de preservar a fiabilidade da medida, uma 
vez que o erro reside em um outro domínio que não a qualidade do 
instrumento de mensuração. 

Esta falta de clareza quanto ao que está sendo mensurado se 
manifesta na discussão da questão da avaliação do desempenho, par- 
ticularmente do desempenho escolar. Um debate acalorado acerca do 
papel exercido pela genética ou pelo ambiente no desenvolvimento 
da inteligência impôs a defesa ostensiva, de forma apressada e pouco 
crítica, de posições extremadas. As discussões entre os defensores 
de uma posição genética ou ambientalista podem ser traduzidas, 
pelo menos parcialmente, em termos dos embates ontológicos e 
antropológicos que colocam em terrenos opostos defensores da 
posição individualista e holista. (PEREIRA, 2004) 

A tese da hegemonia da influência da genética se sustenta em um 
conjunto de trabalhos com uma respeitável tradição intelectual que 
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remonta a nomes como Charles Darwin, Francis Galton ou Arthur 
Jensen. Esta tese, em suas linhas mais gerais, se sustenta em estudos 
conduzidos com gêmeos, onde se evidencia que o coeficiente de 
correlação de teste de inteligência entre monozigóticos é bem mais 
alto do que entre dizigóticos (KAUFFMAN, 1999), em estudos acerca 
do ambiente familiar, onde se evidencia que a maior proximidade 
genética mantém uma correlação muito forte com os resultados nos 
testes de inteligência (BOUCHARD; MCGUE, 1981) e em estudos com 
crianças adotadas, onde são encontradas evidências de uma correlação 
mais forte entre os resultados nos testes de QI entre a criança com os 
seus pais biológicos do que com os pais adotivos. (HORN, 1983) 

Em oposição às teses nativistas, os que defendem as posições 
ambientalistas acenam com as dificuldades conceituais e metodo- 
lógicas enfrentadas pelos estudos de base genética e indicam uma 
série de estudos que evidenciam 0 claro impacto do ambiente na 
expressão da inteligência, destacando-se, particularmente, os que 
enfatizam o impacto do contexto socioeconômico, 0 impacto da 
dieta e das diferentes restrições alimentares, 0 efeito da estimulação 
oferecida à criança pelos pais e da ordem de nascimento da criança. 
(OAKLEY, 2004) 

Estudos desenvolvidos na psicologia social a partir dos anos 60 
demonstram a natureza complexa das relações entre a genética e 0 
ambiente, 0 que parece tornar explícito a necessidade de redefinir 
a maneira pela qual a questão vem sendo tratada. Estudos como 
os conduzidos por Katz, em meados dos anos 60, alertaram aos 
estudiosos quanto à necessidade de se considerar a influência da 
ameaça à identidade social na mensuração da inteligência. Se, de 
fato, o enunciado das instruções do teste, formulado no sentido de 
explicitarem ou não que a inteligência estava sendo mensurada, 
produziu tal discrepância no resultado, pode-se concluir pelo menos 
duas coisas: 

a) 0 contracto submetido à mensuração não foi exatamente a 
inteligência, ou talvez, numa formulação mais moderada, 
poder-se-ia afirmar que outros fatores se confundem defini- 
tivamente com a inteligência, quando esta é mensurada com 
0 teste de QI; 
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b) fatores situacionais exercem um impacto nada desprezível nos 
resultados, donde a necessidade de identificá-los prontamente, 
de forma que seja possível adotar as providencias cabíveis nas 
circunstâncias em que estas se tornarem imperativas. 

No que concerne aos problemas relativos à medida de confiabi- 
lidade, novas técnicas destinadas à elaboração de instrumentos de 
medida, bem como os cuidados relacionados com a determinação da 
validade convergente, divergente e de constructo, têm contribuído 
de forma significativa para superar os problemas assinalados em 
estudos semelhantes ao de Katz. O segundo problema, no entanto, é 
certamente mais complexo. O espaço privilegiado no qual o impacto 
da ameaça à identidade exerce alguma influência no desempenho 
é o ambiente escolar. A forma particular pela qual as relações so- 
ciais se desenrolam neste contexto permite acentuar a importância 
das crenças acolhidas pelo professor nas ameaças à identidade do 
estudante e, por esta via, os seus impactos diretos e indiretos no 
desempenho escolar. 

Um fenômeno, conhecido na literatura como “efeito pigmaleão”, 
tem sido demonstrado de forma reiterada e acena para a necessidade 
imperiosa de se considerar a influência exercida pelas expectativas 
dos professores sobre o desempenho dos estudantes. No entanto, 
para que o professor venha a desenvolver expectativas sobre o de- 
sempenho do estudante é necessário que ele consiga estabelecer 
alguma diferenciação entre as distintas classes de alunos e, subse- 
quentemente, que seja capaz de aplicar os rótulos verbais considera- 
dos pertinentes para cada categoria em questão. Qualquer que seja a 
tipologia adotada, se capaz ou incapaz, inteligente ou não, no exato 
instante em que o professor estabelece alguma diferenciação entre 
os alunos, as categorias sociais são ativadas e aplicadas. Conforme 
salientam os teóricos da identidade social, a categorização acarre- 
ta, de imediato, a manifestação de dois processos, a assimilação 
percentual, uma tendência a exagerar as similaridades relativas 
aos membros de uma mesma categoria e, na mesma medida, o 
contraste, uma tendência a exagerar as diferenças entre os membros 
de categorias distintas. 
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Este duplo viés imposto pela categorização termina por acentuar 
as diferenças no desempenho, o que reforça e torna ainda fácil 
acolher expectativas diferenciadas a respeito de cada classe de estu- 
dantes. Ademais, a influência da expectativa acerca do desempenho 
do aluno gera um efeito nada desprezível sobre o comportamento do 
professor na sala, bem como sobre a sua relação com os estudantes 
no ambiente acadêmico. 

Pode-se argumentar, no entanto, que o efeito da ameaça da iden- 
tidade no desempenho não se restringe a qualquer espaço particular, 
seja ele o ambiente escolar ou qualquer um outro contexto no qual 
as relações sociais se desenrolam. Alguns autores se referem a uma 
certa ameaça que paira no ar e fazem alusão a um efeito ainda mais 
difuso e difícil de ser detectado, capaz de se manifestar em contextos 
tão diversos quanto o ambiente acadêmico, o esportivo, o laborai 
ou nas relações afetivas. 

A partir dos anos 90 emerge na psicologia social um programa 
de pesquisa dedicado ao estudo deste tipo de ameaça. Estes estudos 
inicialmente evidenciaram que estudantes negros de uma das uni- 
versidades de grande prestígio na atualidade e que apresentavam 
padrões de desempenho relativamente semelhante aos estudantes 
brancos, quando submetidos a uma condição na qual se eliciava uma 
situação de ameaça direta ou indireta, manifestavam uma redução 
significativa no padrão de desempenho quando submetidos a um 
determinado tipo de avaliação. Investigações posteriores corrobora- 
ram as evidências iniciais e ampliaram 0 conjunto das categorias e 
domínios nos quais 0 efeito da ameaça à identidade se manifestava. 
Estudantes brancos manifestavam uma redução no desempenho 
intelectual quando comparados com estudantes asiáticos; mulheres 
apresentavam uma redução significativa no desempenho em testes 
matemáticos quando comparadas com homens; enfim, um número 
substancial de estudos, publicados entre 0 final do século passado 
e no início do presente século, se encarregou de deixar claro que 
0 impacto da ameaça à identidade social no desempenho era bem 
mais sutil, difusa e difícil de ser detectada e que o impacto das 
expectativas do professor sobre o desempenho dos seus estudantes 
era apenas um dos elementos da equação. 
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AMEAÇAS À IDENTIDADE SOCIAL E DESEMPENHO 


Para superar os limites impostos pelas abordagens meta-teóricas 
individualistas e holistas, é necessário refletir sobre as questões até 
aqui discutidas a partir de um outro plano de referência. É impe- 
rativo, antes de qualquer coisa, abandonar qualquer interpretação 
dicotômica que postule uma relação de oposição entre o indivíduo e 
a sociedade, dado que as perspectivas individualistas são incapazes 
de oferecer respostas para a questão das propriedades emergentes, 
enquanto os argumentos holistas enfrentam dificuldades para lidar 
com a questão da inovação e das diferenças individuais. 

Uma alternativa plausível e não sujeita à dicotomia indivíduo-to- 
talidade é a posição sistematista. Diferentes versões do sistematismo 
passam a ganhar proeminência entre psicólogos e sociólogos que se 
dedicam à psicologia social desde as duas últimas décadas do século 
passado. A interpretação do sistematismo aqui adotada reconhece 
a necessidade de identificar três dimensões de análise a serem con- 
sideradas em qualquer análise de fenômenos sociais complexos: a 
dimensão individual, a dimensão posicionai e a dimensão contextuai. 
Desta forma, uma análise como a que estamos conduzindo deve estar 
atenta não só às diferenças entre os indivíduos, como também deve 
levar em conta a posição ocupada pelos diferentes atores na rede de 
relacionamentos que estes estabelecem entre si, sem desconsiderar 
o contexto específico no qual as relações de dependência e interde- 
pendência entre os indivíduos se manifestam. 


Dimensão 

posicionai 


alvo 


avaliador 




Acadêmico Laborai 


Habilidades e 

capacidades Dimensão 
individual 


Características 

sociodemográficas 


Dimensão 

contextuai 


Figura 1: Concepção sistematista das ameaças à identidade, segundo o modelo do 
cubo da variância 
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0 modelo apresentado na Figura 1 representa uma tentativa de 
conduzir uma análise sistematista do impacto da ameaça à identi- 
dade sobre o desempenho. Conforme se observa, o contexto ao qual 
estes estudos se referem deve ser claramente identificado. No caso 
específico, a maior parte dos estudos sobre o impacto da ameaça ao 
desempenho se refere ao ambiente acadêmico ou escolar, embora os 
estudos não se restrinjam a este domínio. Além do contexto, a dimen- 
são posicionai também deve ser contemplada; no caso específico da 
avaliação, é decisivo considerar as diferenças nas posições ocupadas 
pelos indivíduos no âmbito das relações interpessoais ou intergrupais. 
Como se trata de posições complementares, a condição de avaliar 
ou ser avaliado exerce um papel decisivo na dinâmica das relações 
sociais. Enfim, é imperativo que sejam consideradas as diferenças 
entre os indivíduos, pois as ameaças à identidade tendem a sofrer a 
mediação de fatores como o gênero, a etnia, a idade, o status socioe- 
conômico ou as particularidades e idiossincrasias do indivíduo. 

Uma vez que o objetivo do presente capítulo não é o de apresentar 
uma concepção geral sobre o impacto das ameaças à identidade, e 
sim discutir como estas ameaças interferem no processo de avabação, 
a nossa discussão privilegiará a dimensão posicionai. É importante 
salientar que esta estratégia é uma decorrência do plano de análise 
aqui proposto e que outros níveis de tratamento do problema pode- 
riam privilegiar outras dimensões que não a posicionai. 


O IMPACTO EXERCIDO PELA AMEAÇA À 
IDENTIDADE SOBRE O AVALIADOR 

As ameaças à identidade influenciam o desempenho escolar por 
duas vias distintas. Se na primeira delas, a influência se restringe 
apenas ao efeito das expectativas sobre o julgamento e as ações do 
percebedor, na segunda o efeito é mais deletério, dado que as ex- 
pectativas do percebedor se organizam sob a forma de um processo 
psicossocial que impõe um determinado curso de ação no avaliado 
que termina por fazer com que a conduta deste último se ajuste 
àquilo que é esperado por quem realiza o julgamento. Esta seção do 
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capítulo será dedicada a apresentar algumas evidências empíricas 
que demonstram este efeito das ameaças à identidade no desempe- 
nho escolar e como elas podem interferir nas tarefas de avaliação 
conduzidas por que realiza o julgamento. 

ESQUEMAS MENTAIS E EXPECTATIVAS 

O processo de perceber não se restringe a reproduzir internamente 
objetos e eventos presentes no mundo externo. A percepção, neste 
sentido, não se encontra imune às influências das crenças, atitu- 
des ou expectativas do percebedor, ou seja, o processo de perceber 
encontra-se indissociavelmente associado à memória. Uma das for- 
mas mais usuais de se conceber a representação da informação na 
memória utiliza o conceito de esquemas. Um esquema, definido 
como uma estrutura abstrata de conhecimento que contém o conhe- 
cimento geral sobre um domínio, incluindo os fatores determinantes 
e as relações entre os atributos deste domínio, oferece os meios e 
recursos necessários para a formulação de hipóteses e para a in- 
terpretação dos estímulos de forma compatível com o conjunto da 
informação disponível. (TAYLOR; CROCKER, 1981) Deste modo, um 
esquema mental não se confunde com uma proposição, pois estas 
são apropriadas para representar unidades de significado, enquanto 
aqueles permitem representar conteúdos mais amplos sob a forma 
de conceitos particulares. 

Os esquemas se desenvolvem durante 0 processo de socializa- 
ção e se constroem pela informação previamente disponível. O 
conhecimento prévio, bem como 0 contexto social, pode definir a 
forma de estruturação do conhecimento mais condizente com as 
circunstâncias particulares nas quais os esquemas se manifestam. 
O esquema mental que cada pessoa elabora a respeito de si mesma 
se refere à avaliação que ela faz de seu comportamento genérico e 
se sustenta, sobretudo, no julgamento que cada um faz a respeito 
dos traços mais marcantes da sua própria personalidade. (MARKUS, 
1977) Alguém, ao se definir como tímido, por exemplo, encontra-se 
em condições de compreender melhor a sua própria ação, explicar 
por que fez ou por que deixou de fazer determinadas coisas, bem 
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como está habilitado a identificar com mais facilidade as razões e as 
justificativas para cada uma das suas ações e reações. A noção de tra- 
ços estáveis de personalidade pode ser usada tanto para a elaboração 
de esquemas mentais sobre si mesmo, quanto para pra a elaboração 
de esquemas sobre as outras pessoas. (CANTOR; MISCHEL, 1977) Os 
esquemas sobre as pessoas definem 0 que se pode esperar dos outros 
e ajudam a definir a modalidade mais apropriada de conduta a ser 
adotada nos encontros sociais com as diferentes classes de indivíduos. 
Uma vez que os indivíduos ocupam posições sociais claramente 
definidas em um sistema social e a interação com as pessoas que 
desempenham diferentes papéis sociais é um imperativo da vida 
moderna, as pessoas também desenvolvem esquemas mentais a 
respeito dos papéis sociais. Este tipo de esquema encontra-se rela- 
cionado fundamentalmente com as normas e expectativas que são 
geradas pelos diferentes papéis sociais. Além dos esquemas sobre 
si mesmo, sobre os outros e sobre as expectativas que se deve ter 
ao interagir com indivíduos que ocupam determinados papéis, os 
distintos grupos sociais podem ser representados mediante esque- 
mas de grupo. Um esquema grupai pode ser caracterizado como 0 
conjunto ordenado de crenças disponíveis que permite definir os 
atributos de um grupo social. A presença de um esquema sobre um 
grupo social é suficiente para influenciar a percepção que se tem 
sobre os membros deste grupo, interferindo em processos como 0 
foco de atenção, a interpretação da ação, assim como sobre 0 julga- 
mento e 0 comportamento a ser adotado em relação aos membros 
do grupo percebido. 

Uma expectativa pode ser definida como um conjunto de ações ou 
atitudes que se antecipa em relação a uma outra pessoa, ou seja, uma 
expectativa é um tipo particular de crença que tem como referente 
uma ação relativa a um estado futuro de coisas. (MOSKOWITZ, 2005; 
OLSON, ROESE; ZANNA, 1996) De modo geral, a principal fonte de 
influência das expectativas sobre o desempenho escolar reside nas 
crenças estereotipadas sobre a inteligência ou a habilidade acadêmi- 
ca do estudante. Neste sentido, os estereótipos podem ser interpreta- 
dos como expectativas, pois uma característica fundamental de uma 
crença estereotipada é a busca de eventos que confirme a crença, 
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bem como a tendência a inibir a expressão de casos que rejeitem 
os estereótipos. (PEREIRA, 2002) Por qualquer uma das vias, a ação 
de uma expectativa exerce um impacto decisivo sobre 0 processo 
de avaliação. Espera-se, no entanto, que 0 professor seja capaz de 
impedir ou inibir a influência das suas expectativas a respeito do 
estudante - ou mesmo dos estereótipos sobre a categoria social ou 
ao grupo pertence 0 estudante - nas circunstâncias em que tem que 
conduzir alguma avaliação sobre 0 próprio estudante, embora não se 
possa falar, neste caso, de qualquer impacto imediato da expectativa 
sobre 0 desempenho real do estudante. 

Os estudos que se encarregaram de demonstrar a influência da 
expectativa sobre 0 julgamento se sustentam na hipótese geral de 
que se as pessoas recebem uma informação sobre uma pessoa que 
acaba de conhecer e é solicitada a formar a sua impressão sobre 
esta pessoa, ela tentará buscar um traço relevante ou um conceito 
avaliativo pertinente ao julgamento e, ao encontrar tal peça de 
informação, ou seja, aquilo que acaba de aprender, a utilizará sem 
se preocupar em determinar se as informações são consistentes 
ou não com as condutas e ações daquele que está sendo julgado. 
(WYER; SRULL, 1989) 

Talvez o exemplo mais conhecido nesta linha de investigação 
seja o trabalho de Darley e Gross (1983). Neste estudo, a metade 
dos participantes assistiu a um vídeo no qual se retratava a vida 
cotidiana de uma garota em um cenário que não deixava dúvidas 
de que ela vivia em uma vizinhança abastada. Para a outra metade 
dos participantes, embora a garota fosse a mesma, o cenário era 
completamente distinto e não deixava dúvidas de que a garota vivia 
numa comunidade muito pobre. Algumas peças de informações 
adicionais contribuíram para criar um contexto na qual a garota 
era claramente definida como rica ou pobre. A manipulação expe- 
rimental permitiu criar nos participantes um esquema mental e 
este proporcionou o insumo necessário para a elaboração de dis- 
tintos padrões de inferências a respeito do desempenho escolar 
da estudante. Em seguida, todos os participantes assistiram a um 
novo vídeo, no qual esta mesma estudante era submetida a uma 
prova, respondendo de forma acertada ou equivocada a perguntas 
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fáceis e difíceis, o que impedia a formulação de qualquer inferência 
conclusiva a respeito da habilidade intelectual ou escolar da garota. 
Os resultados não deixaram dúvidas: aqueles a quem o protocolo 
experimental favoreceu a elaboração de um esquema mental no 
qual a garota foi caracterizada como rica tenderam a considerar o 
desempenho dela superior, enquanto os participantes preparados 
para percebê-la como pobre tenderam a considerar que o desempe- 
nho escolar e a inteligência da garota estavam abaixo da média. 

Este resultado, e muitos outros dedicados a identificar o impac- 
to das expectativas e dos quadros de referência no desempenho 
parecem reforçar a opinião de que a ação humana não é regida 
inteiramente por critérios centrados na reflexão e nem a tomada 
de decisões está fundamentada numa análise criteriosa de todos 
os elementos pertinentes à situação. Quão racional pode ser um 
processo avaliativo? Como princípio geral, é possível afirmar que 
uma avaliação é tão racional quanto qualquer outra ação humana. 
E quão racional é a ação humana? 

HEURÍSTICAS E VIESES DE JULGAMENTO 

Até meados dos anos 6o e início dos anos 8o os estudos sobre o jul- 
gamento e a tomada de decisões estavam inteiramente dominados 
por uma perspectiva que acentuava o uso extensivo de algoritmos 
para o julgamento e uma tomada de decisão racional. Uma série de 
trabalhos, publicados por Amos Tversky e Daniel Kahneman, confi- 
guram um novo programa de investigação, denominado Heurísticas 
e Vieses, cujo impacto representou uma mudança substancial na 
maneira pela qual a questão do julgamento humano passou a ser 
tratado pelos psicólogos sociais. A principal façanha desta nova pers- 
pectiva foi a de evidenciar quão o erro, a incerteza e os paralogismos 
interferem no julgamento humano, sem que seja necessário fazer 
alusão a qualquer modelo explícito que se fundamente na noção de 
que a ação humana é motivada por fatores irracionais. 

0 reconhecimento dos limites de processamento do agente cog- 
nitivo oferece o substrato necessário para a defesa de teses que 
sustentam que os seres humanos dificilmente poderiam ser carac- 
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terizados como agentes cujas ações se fundamentam em estratégias 
inteiramente racionais. Turner (1991) enumerou os critérios reque- 
ridos para que uma ação venha a ser qualificada como racional. 
Em primeiro lugar, 0 agente deve estar autoconsciente das metas 
almejadas. Ademais, ele deve não só ser capaz de identificar as 
suas próprias opiniões, como também deve estar em condições de 
avaliar tanto os prováveis custos e benefícios, quanto as facilidades 
e dificuldades oferecidas por todos os elementos pertinentes à de- 
terminação do curso da ação. Nessas condições, qualquer decisão 
para ser considerada racional deve ser tomada levando em consi- 
deração os valores e as probabilidades relativas oferecidas por cada 
curso potencial de ação, 0 que só é possível desde que se presuma 
a existência de automonitoramento constante por parte de quem 
conduz o julgamento. Uma perspectiva que englobe todos estes 
elementos é denominada racionalidade forte e a ela se opõe a tese 
da racionalidade fraca ou limitada. 

O ser humano dispõe de uma maquinaria mental de processa- 
mento de informação que está sujeita a determinados limites, tanto 
na velocidade quanto na quantidade de informações que é capaz de 
tratar simultaneamente. Uma análise mais cuidadosa do ambiente 
exige a avaliação paulatina de cada um dos eventos ocorrido no 
entorno e de cada uma das unidades de informação encontradas no 
ambiente social. Como este é essencialmente complexo e multifa- 
cetário, seria uma operação extremamente onerosa para 0 sistema 
cognitivo atender a cada um dos estímulos presentes no ambiente, 
donde a estratégia de selecionar uma pequena parcela destes es- 
tímulos que podem ser atendidos e desconsiderar a maioria dos 
elementos presentes no ambiente. Além de desconsiderar uma 
parcela substancial da informação, o ser humano trata de forma 
bastante superficial a informação a que se dedica, elaborando muito 
rapidamente inferências a respeito dos estímulos e reduzindo o 
constante fluxo da informação a unidades discretas, 0 que favorece 
a adoção do pensamento categórico e a utilização de atalhos mentais 
durante as operações de processamento da informação. 

Esta perspectiva é compatível com a suposição que nem sempre 
0 ser humano é capaz de adotar uma solução ótima ou a melhor 


IDENTIDADE, AVALIAÇÃO E DESEMPENHO ESCOLAR 213 


alternativa possível. O mais usual é que na maior parte das vezes o 
ser humano realize as suas atividades e tome suas decisões de acordo 
com uma diretriz distinta: a solução mais valorizada é a que funciona 
melhor na maior parte das vezes e se adapta às mais diversas circuns- 
tâncias. Se as escolhas humanas não podem ser indefinidamente 
otimizadas, elas devem ser rápidas, econômicas e pouco exigentes em 
termos da mobilização dos limitados recursos cognitivos disponíveis. 
Os estudiosos da psicologia cognitiva estabelecem uma diferenciação 
entre uma decisão implementada por uma dimensão normativa e as 
decisões fundamentadas em critérios empíricos. (EYSENCK; KEANE, 
1994) Herbert Simon, um dos mais importantes especialistas nas 
ciências cognitivas, identificou as estratégias racionais adotadas pelo 
ser humano como alternativa de ação. A tomada de decisões racional 
é tipificada como uma espécie de escolha entre alternativas, feitas 
de acordo com as expectativas mantidas em relação aos resultados 
dependentes daquela escolha. Qualquer decisão para ser considerada 
racional implica na listagem todas as alternativas disponíveis, na de- 
terminação das consequências de cada uma das alternativas listadas 
e na avaliação comparativa de cada uma das variáveis e posterior 
seleção daquela que apresenta as consequências mais próximas da 
desejada. Estas condições dificilmente seriam exequíveis na prática, 
não só porque todo sistema de processamento de símbolos é por 
natureza incompleto, como também devido aos limites de velocidade 
e de poder computacional dos sistemas inteligentes. Nessas condições, 
a única racionalidade possível para os sistemas de processamento de 
informações seria muito limitada, impondo a utilização de processos 
heurísticos ou aproximativos. 

A vida social humana ocorre em um contexto de relativa incerteza 
e esta característica permite caracterizar 0 julgamento social com 
uma tarefa implementada de acordo com um raciocínio fundado 
sobre 0 critério da probabilidade. O termo heurística foi adotado 
pelos estudiosos da inteligência artificial para se referir a uma estra- 
tégia usada por programadores para fazer com que um computador 
seja capaz de simular 0 modo de funcionamento da mente humana, 
mediante o uso exaustivo e sucessivo de algoritmos, até atingir a 
solução almejada. Ao contrário dos computadores, 0 agente humano 
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não busca soluções infalíveis e sim alternativas que sejam satisfató- 
rias para a atender aos requisitos exigidos em situações previamente 
definidas. A alternativa mais usual, no presente caso, parece ser a de 
recorrer ao uso de atalhos em lugar de um processamento exaustivo 
realizado mediante estratégias algorítmicas. Estes atalhos represen- 
tam soluções distantes de serem ótimas, embora sejam bem mais 
fáceis de serem implementadas do que as estratégias algorítmicas 
otimizadas. (MOSCOWITZ, 2005) 

O uso de categorias oferece uma série de atalhos mentais para 
que 0 ser humano possa responder de forma rápida às demandas 
e solicitações oriundas do ambiente social. Estes atalhos permitem 
que sejam tomadas decisões sem a necessidade de uma avaliação 
cuidadosa, individualizada e demorada da informação. (TVERSKY; 
KAHNEMAN, 1974) Decerto que a aplicação de heurísticas impede 
que os problemas sejam solucionados com a precisão que seria obti- 
da com 0 uso de algoritmos, mas 0 fato é que a solução obtida com 
o uso dos atalhos mentais possui uma precisão razoável, é mais fácil 
de ser implementada e atende relativamente bem às necessidades 
cotidianas das pessoas no trato dos seus afazeres mais corriqueiros. 
O custo, no entanto, de tal facilidade é uma maior presença dos 
erros de categorização, uma maior presença de inferências inváli- 
das, assim como a presença relativamente constante de conclusões 
injustificadas. 

Alguns estudos demonstraram como os membros de grupos sobre 
os quais pairam determinadas crenças estereotipadas tendem a 
aplicar um julgamento heurístico e tendem a considerar que eles 
foram avaliados não pelas próprias atitudes ou traços psicológicos, 
mas pelo simples fato de pertencerem a uma categoria social, alvo 
do julgamento estereotipado. (CROCKER, et al, 1975) 


O IMPACTO EXERCIDO PELA AMEAÇA À 
IDENTIDADE SOBRE O ALVO DO JULGAMENTO 

As ameaças à identidade não influenciam apenas os julgamentos e as 
ações do avaliador. Em algumas circunstâncias, a combinação entre 
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as expectativas e as ações mutuamente conduzidas entre percebedor 
e alvo impõe um padrão de conduta do qual o alvo percebedor e 
alvo dificilmente conseguem fugir. A próxima seção do capítulo será 
dedicada aos impactos exercidos pelas ameaças à identidade e como 
estas influenciam o comportamento do alvo da avaliação. 

PROFECIAS AUTORREALIZADORAS 

A noção de profecia autorrealizadora ou profecia que se cumpre 
por si mesma foi cunhada em 1948 pelo sociólogo Robert K. Merton, 
para aludir à falsa definição de uma situação capaz de evocar um 
novo tipo de conduta que torna a situação originalmente definida 
verdadeira e, nestas circunstâncias, instaura e reforça a dimensão 
do erro, ao sustentar que os eventos suscitados pela nova situação 
servem como prova de que a profecia estava correta desde a sua 
origem. Embora a expectativa do percebedor venha a desempenhar 
um papel central, a dimensão mais importante é que ela leva 0 alvo 
do julgamento a agir de uma forma compatível com o esperado 
pelo percebedor. 

Este fenômeno, demonstrado em uma série de pesquisas posterio- 
res, parece não se restringir aos limites das relações sociais estabele- 
cidas entre os seres humanos, a se considerar, por exemplo, 0 estudo 
publicado em 1948 por Rosenthal e Lawson, no qual grupos de dois 
ou três estudantes receberam aleatoriamente dos experimentadores 
ratos explicitamente identificados como originários de uma cepa 
preparada para serem brilhantes ou de uma cepa destinada a ser a 
menos brilhante possível. Os resultados do estudo, desenhado para 
mensurar o efeito da expectativa dos estudantes sobre 0 comporta- 
mento dos animais, nas circunstâncias em que estes fossem subme- 
tidos a uma série de tarefas experimentais em uma caixa de Skinner, 
evidenciaram claramente que aqueles rotulados como brilhantes se 
saíram melhor em sete das oito tarefas do teste experimental. 

Muito rapidamente as implicações da hipótese da profecia au- 
torrealizadora passaram a ser testada no ambiente de sala de aula. 
Decerto, o estudo mais conhecido nesta linha foi publicado por 
Rosenthal e Jacobson (1968). O ponto de partida deste estudo reside 
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no entendimento de que os professores invariavelmente nutrem 
expectativas acerca dos seus alunos e do que se pode esperar deles 
em termos do desempenho escolar. De forma compatível com a de- 
finição de Merton, os pesquisadores criaram expectativas falsas nos 
professores a respeito dos seus alunos. Mediante um procedimento 
de escolha inteiramente aleatório, alguns alunos foram rotulados 
como “em vias de desabrochar” (Iate bloomers) e os professores fo- 
ram informados que testes submetidos aos estudantes permitiram 
detectar esta “característica” nestes alunos. Oito meses depois, os 
estudantes rotulados como promissores não apenas foram percebi- 
dos de forma mais positiva pelos professores; de fato, o desempenho 
destes estudantes apresentou um incremento significativo quando 
comparado com os resultados de testes de QI, bem como em outros 
tipos de testes e exames. 

Parece claro que as expectativas do professor exercem um papel 
nada desprezível no incremento ou na redução do desempenho 
de estudantes rotuladas como promissores ou não. (BLAINE, 2007) 
Provavelmente, um professor interpelará de forma mais frequente, 
oferecerá mais comentários críticos e construtivos, estimulará com 
tarefas e questões mais desafiadoras e responderá de uma maneira 
mais amigável ao estudante sobre 0 qual nutre expectativas mais 
promissoras de que a um estudante que ele imagina não tão talen- 
toso. A conclusão não parece deixar dúvidas: 

a) as expectativas dos professores acerca dos estudantes suscitam 
mudanças no comportamento destes estudantes; 

b) os estudantes ajustam as suas condutas de forma a torná-las 
consistentes com as expectativas dos professores. 

Estas conclusões, como não poderia deixar de ser, suscitaram 
discussões acaloradas acerca da influência exercida pelas crenças 
dos professores e de como estas poderiam solapar as oportunidades 
educacionais de muitos estudantes afiliados a categorias sociais sobre 
as quais pairaria no ar a expressão de crenças estereotipadas sobre a 
dificuldade na performance em certos domínios de conhecimento. 

Tais evidências, no entanto, não podem ser interpretadas de 
forma mecânica, pois 0 efeito da ameaça à identidade não se ma- 
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nifesta simplesmente porque o professor acolhe crenças compar- 
tilhadas que exprimem estereótipos sobre determinados grupos e 
categorias sociais e reproduz estas crenças no ambiente da sala de 
aula, influenciando de forma homogênea a todo um conjunto de 
estudantes. A ameaça exercida pelas crenças estereotipadas é mais 
heteróclita e pluridimensional do que se imagina, pois se espalha de 
forma insidiosa e sutil pelo tecido social. Não são apenas os grupos 
sobre os quais se impõe uma história crônica de discriminação que 
sofrem a ameaça dos estereótipos, pois mesmos os grupos majo- 
ritários estão sujeitos a manifestar uma redução no desempenho 
quando ameaçados por crenças estereotipadas. Neste sentido, não 
é mais cabível tentar identificar qualquer grupo ou categoria - seja 
ele professor ou não - como um agente privilegiado na expressão 
dos estereótipos. 

AMEAÇA DOS ESTEREÓTIPOS 

A ameaça dos estereótipos se refere a uma queda flagrante no desem- 
penho de uma pessoa em um determinado domínio de atividades 
quando esta sabe que está sendo julgada e que é membro de um 
grupo sob o qual paira no ar uma ameaça de que os membros do 
grupo ao qual pertence não costumam apresentar um bom desem- 
penho naquele domínio. (PEREIRA, 2004) De acordo com Aronson e 
McGlone (2009), a questão central das relações entre os estereótipos 
e a ameaça à identidade social é a reputação. Para ser mais exato, é 
0 temor de que 0 próprio comportamento venha a confirmar uma 
reputação que se aplica aos membros do grupo ou categoria social 
ao qual se pertence. 

Um dos estereótipos mais duradouros, injustificados e perniciosos 
se refere a uma certa incapacidade das mulheres no domínio dos 
conceitos e das operações matemáticas. Esta é uma ameaça que pesa 
sob as mulheres e vários estudos demonstram de forma consistente 
que a queda no desempenho ocorre apenas nas circunstâncias em 
que as mulheres são submetidas a algum tipo de ameaça, como por 
exemplo, quando um experimentador do sexo masculino enfatiza 
que o desempenho delas no teste é significantemente mais reduzido 


218 MARCOS EMANOEL PEREIRA 


do que o apresentado pelos homens e pede que respondam a uma 
série de testes de matemática em um ambiente onde estão presentes 
muitos homens, tão hábeis quanto elas neste domínio. 

O efeito da ameaça dos estereótipos não se restringe, obviamente, 
às mulheres; o seu impacto é amplo e generalizado, aplicando-se 
tanto a categorias sociais sobre as quais pesa uma história crônica 
de estigmatização, quanto a grupos que estão longe de representar 
um exemplo tradicional de categoria social que sofre experiências 
sistemáticas de discriminação. Esta abrangência em relação às cate- 
gorias às quais a ameaça favoreceu uma interpretação inicial de que 
por se tratar de uma ameaça que paira no ar, este fenômeno deveria 
ser explicado estritamente pela influência dos fatores ambientais. 
(STEELE, 1997) 

Atualmente, reconhece-se que 0 ambiente, apenas por si, é insu- 
ficiente para explicar os efeitos da ameaça dos estereótipos, sendo 
ademais necessário considerar a dimensão posicionai e as diferenças 
individuais. 

Os efeitos da ameaça dos estereótipos foram documentados prio- 
ritariamente no contexto acadêmico, embora tenham sido encontra- 
das evidências de que eles se manifestam em vários outros domínios, 
como, por exemplo, 0 ambiente de trabalho (BERGERON, BLOCK; 
ECHTENKAMP, 2006) ou esportivo. (BEILOCK; MCCONNELL, 2004) 

Em relação ao domínio posicionai, são encontradas evidências 
que a ameaça dos estereótipos se manifesta em situações nas quais 
as posições sociais desempenham um papel decisivo. Por exemplo, 
o estudo de Sekaquaptewa e Thompson (2003) evidenciou que o 
efeito da ameaça aparece nas circunstâncias em que a mulher se 
encontra sozinha entre vários homens, mas não se manifesta quan- 
do a mulher compartilha 0 mesmo espaço com outros homens e 
mulheres. Da mesma forma, a presença de um experimentador do 
sexo masculino interfere no desempenho da mulher em um teste de 
matemática, embora este efeito não se manifeste nas circunstâncias 
em que as instruções da tarefa experimental são fornecidas por uma 
experimentadora. (INZLICHT; BEM-ZEEV, 2000) 

Finalmente, 0 efeito da ameaça dos estereótipos não se manifesta 
da mesma maneira em todos os participantes. Sabe que apenas os 
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estudantes mais engajados nas atividades acadêmicas sofrem o im- 
pacto da ameaça os estereótipos. Da mesma forma, como o efeito da 
ameaça dos estereótipos depende da dificuldade do teste, apenas os 
estudantes habilitados a responderem as questões mais difíceis apre- 
sentam uma redução do desempenho. (STEELE; ARONSON, 1995) 


CONCLUSÕES 

A principal conclusão do presente trabalho é a de que a expressão 
de qualquer fenômeno psicossocial com um certo grau de comple- 
xidade depende da conjunção de uma série de fatores. Ainda que 
uma determinada fonte de influência possa ser considerada decisiva 
na expressão de um dado fenômeno, a sua expressão é mediada 
ou moderada por outros elementos, que contribuem, em maior ou 
medida, na manifestação do fenômeno. As análises aqui conduzidas 
sobre o impacto das ameaças à identidade na avaliação também 
podem ser interpretadas à luz desta premissa geral. As influências 
mútuas do contexto onde a avaliação é realizada, das diferenças de 
posições interpessoais ou intergrupais, bem como das características 
individuais devem ser necessariamente consideradas. 

Uma vez que nenhum elemento atua de forma isolada, nada 
justifica responsabilizar uma determinada fonte de explicação na 
expressão de um certo estado de coisas. Não é um ambiente social 
restrito, as expectativas e heurísticas adotadas pelo professor ou as 
dificuldades inerentes ao estudante que por si apenas explicam as 
vicissitudes no processo de avaliação. A visão sistematista acolhida 
pelo presente trabalho impõe uma análise do papel exercido por 
cada elemento, bem como as suas interações mútuas, sob pena de 
se perder a chance de conduzir uma análise mais apropriada do 
fenômeno em questão. 

As consequências da adoção dessa postura se manifestam par- 
ticularmente numa dimensão de análise pragmática ou utilitária. 
O que fazer para reduzir a influência das ameaças à identidade 
no julgamento do professor ou no desempenho do estudante? O 
primeiro passo parece ser reconhecer a necessidade de considerar 


220 MARCOS EMANOEL PEREIRA 


os fatores presentes na situação, bem como os fatores relacionados 
ao indivíduo. Dado que a maior parte dos problemas aqui conside- 
rados se manifestam no domínio acadêmico, torna-se imperativo 
reconhecer que o local privilegiado para qualquer intervenção é o 
espaço da sala de aula e seus arredores. 

A literatura aponta um conjunto de recomendações que o alvo 
pode adotar para minorar o impacto das ameaças à identidade. 
(ARONSON; MCGLONE, 2009) Uma primeira recomendação se refe- 
re à redefinição dos papéis sociais de forma a substituir as crenças 
estereotí picas por crenças contraestereotípicas. Mclntyre, Paulson 
e Lord (2003) conduziram um estudo com dois grupos de mulheres 
alocados a condições experimentais distintas. Antes do início do teste, 
as participantes de um grupo tiveram acesso, mediante uma tarefa de 
leitura, a uma série de informações a respeito de corporações de gran- 
de sucesso e das estratégias que elas adotaram para chegar ao topo do 
mundo dos negócios. A leitura facilitada aos membros do outro grupo 
também se referia ao sucesso, mas desta vez a referência não era a 
corporações, mas sim a mulheres que conseguiram se sobressair em 
áreas extremamente competitivas, tais como os negócios, 0 direito, 
a medicina e às invenções. Os resultados deste estudo demonstraram 
que a saliência das realizações do grupo é uma alternativa aceitável 
para a redução da ameaça dos estereótipos, pois se no grupo das 
mulheres em que a informação oferecida esteve relacionada com 0 
sucesso das corporações os resultados das mulheres submetidos à 
ameaça dos estereótipos foram flagrantemente inferiores aos obtidos 
pelos homens, na outra condição não foram encontradas diferenças 
significativas nos resultados de homens e mulheres. 

Uma segunda recomendação se refere ao reconhecimento prévio 
por parte do alvo da importância dessas ameaças. Se a ansiedade 
compromete o desempenho do estudante numa condição de teste, 
compete-lhe identificar 0 papel dessa ansiedade e adotar as estra- 
tégias pertinentes para a redução da ansiedade; se a redução do 
desempenho é uma decorrência do desengajamento seletivo no 
domínio ao qual se refere a ameaça, 0 estudante deve reconhecer 
que a adoção desta estratégia apenas irá confirmar e reforçar as 
ameaças representadas pelos estereótipos. 
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Uma terceira recomendação se relaciona com a possibilidade 
de redefinir as teorias implícitas adotadas pelo alvo para se referir 
à natureza humana, especialmente as teorias relacionadas com 
os fatores que explicam as diferenças no desempenho. As teorias 
sobre a capacidade de aprendizagem e sobre a inteligência, em 
especial as teorias que sustentam o ponto de vista de que existe 
uma entidade, a inteligência, que é variável entre as pessoas ou 
entre os membros de diferentes grupos sociais, são frequentemente 
aceitas e amiúde utilizadas durante a realização de julgamentos de 
natureza metacognitiva. As pessoas, neste particular, se diferen- 
ciam quanto às teorias implícitas sobre a inteligência que acolhem; 
algumas aderem a uma interpretação entitativista da inteligência 
e aceitam a tese de que a inteligência é uma entidade não passível 
do efeito de qualquer intervenção no sentido de aperfeiçoá-la, en- 
quanto os incrementalistas aderem a uma posição contrária. A subs- 
tituição das teorias entitativistas da inteligência por uma posição 
incrementalista pode contribuir para reduzir o efeito da ameaça à 
identidade, especialmente quando se identifica um visível aperfei- 
çoamento no desempenho durante a realização de atividades vincu- 
ladas a um determinado domínio de conhecimento. (BLACKWELL; 
TRZESNIEWSKI; DWECK, 2007) 

Decerto que a implementação das recomendações acima expres- 
sas não é um empreendimento que pode se conduzir de forma sim- 
ples e nem representa uma garantia de sucesso na implementação 
de programa de redução dos efeitos negativos produzidos pelas 
ameaças à identidade. O conhecimento aprofundado dos fatores que 
determinam e explicam a redução no desempenho de estudantes, 
sobretudo daqueles que pertencem a grupos ou categorias cujas 
reputações podem ser ameaçadas pelo fracasso escolar e acadêmico, 
representa um enorme desafio para educadores, psicólogos, peda- 
gogos ou para qualquer pessoa que sensível aos clamores por um 
mundo mais justo e igualitário. 
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AMEAÇA DOS ESTEREÓTIPOS 

Atualmente, observa-se um expressivo empenho em identificar a for- 
ma pela qual os estereótipos interferem na performance intelectual. 
Diversas pesquisas mostram que há um decréscimo significativo no 
desempenho de indivíduos membros de grupos estereotipados de 
forma negativa quando submetidos a uma condição ameaçadora, nas 
circunstâncias em que estes acreditam que o critério de julgamento 
do desempenho será, antes de tudo, baseado nas crenças estereoti- 
padas. (DAVIES, et al„ 2002; LEVY, 1996; SHIH; PITTINSKY; AMBADY, 
1999; STEELE, 1997; SPENCER, STEELE; QUINN, 1999) 

O conceito de ameaça dos estereótipos se refere às ameaças situa- 
cionais, oriundas de crenças estereotipadas sobre determinados gru- 
pos e da ameaça que paira no ar sobre as pessoas que pertencem aos 
grupos-alvo dos estereótipos. Em situações ameaçadoras, os membros 
destes grupos acreditam que 0 critério de avaliação do desempenho 
será, antes de tudo, baseado em crenças e julgamentos estereotipados. 
(STEELE; ARONSON, 1995) Além dos indivíduos terem seu potencial 
de performance inibido, há um reconhecimento de que esses pro- 
váveis fracassos podem confirmar um estereótipo negativo aplicado 


ao endogmpo, e, por consequência, a eles mesmos. (SCHMADER, 
2002) Em resumo, a teoria prevê que um indivíduo, ao acreditar que 
pertence a um grupo-alvo de um estereótipo negativo, quando sub- 
metido a uma tarefa relacionada com este estereótipo, sofrerá uma 
considerável redução no desempenho de atividades que mantenham 
algum tipo de relação com tais crenças estereotipadas. 

A teoria da ameaça dos estereótipos, desenvolvida inicialmente 
por Steele e Aronson (1995), tenta compreender como estereóti- 
pos aplicados a determinados grupos são capazes de influenciar 0 
funcionamento intelectual e 0 desenvolvimento da identidade dos 
membros de tais grupos. Numa dimensão pragmática, a teoria busca 
entender como este processo pode dificultar 0 desempenho acadê- 
mico, e, principalmente, 0 que pode ser feito para reverter 0 quadro 
de baixo desempenho de estudantes pertencentes a minorias raciais 
no domínio acadêmico e das mulheres nos domínio quantitativos. 

Os efeitos negativos da ameaça dos estereótipos foram vastamen- 
te relatados na literatura tendo como alvo principal as mulheres, no 
domínio da matemática (MARX; ROMAN, 2002; SHIH; PITTINSKY; 
AMBADY, 1999), os negros no domínio acadêmico de modo geral 
(STEELE; ARONSON, 1995) e os idosos em testes de memória. (LEVY, 
1996) Apesar do fenômeno da ameaça dos estereótipos ser extensi- 
vamente estudado em tarefas acadêmicas, também têm recebido 
alguma atenção em outras áreas de pesquisa, tais como nos esportes. 
(BEILOCK; MCCONNELL, 2004) 

Resultados de diversos experimentos indicam que a redução 
no desempenho parece ser um efeito da situação em que 0 teste 
é aplicado e não de uma falta de habilidade, seja dos negros em 
testes padronizados ou das mulheres com 0 raciocínio matemático. 
(OSBORNE, 2001a) Aronson (1999) e colaboradores afirmam que os 
efeitos deletérios da ameaça dos estereótipos não requerem uma 
história prévia de estigmatização ou sentimentos internalizados de 
inferioridade intelectual e que, neste sentido, podem ser interpre- 
tados como resultado de pressões situacionais. 

A teoria da ameaça dos estereótipos representa uma ruptura com 
visões essencialistas, pois as diferenças de desempenho deixam 
de ser atribuídas a fatores genéticos e passam a ser interpretadas, 
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prioritariamente, como decorrentes de contingências como a con- 
dição socioeconômica, a preparação acadêmica e as oportunidades 
educacionais. (OSBORNE, 2001b) Assim, esta teoria perfila-se ao 
lado de um conjunto de outras que contribuem para compreender 
que as diferenças no desempenho podem ser atribuídas a variáveis 
presentes na situação e não como disposições inerentes ao indivíduo. 
Esta explicação situacional dos déficits no desempenho intelectual 
contribui para uma interpretação mais otimista das diferenças no 
desempenho intelectual e acadêmica de membros de diferentes cate- 
gorias sociais, cuja manifestação mais clara reside no entendimento 
de que é possível a adoção de estratégias que tem por objetivo 0 
desenvolvimento de um ambiente no qual 0 risco de estereotipização 
seja menor e os componentes positivos da identidade social possam 
ser valorizados. (PEREIRA, 2004) 

Steele e Aronson (1995) submeteram estudantes universitários 
brancos e negros a um teste verbal com alto grau de dificuldade. 
Os participantes foram alocados em três diferentes condições ex- 
perimentais; ao primeiro grupo, a tarefa foi apresentada como uma 
simples resolução de problemas; 0 segundo grupo recebeu a mesma 
tarefa como uma forma de medir a capacidade intelectual; para 0 
último grupo, o teste foi apresentado como um desafio intelectual. 
Apenas os estudantes alocados no segundo grupo foram submetidos 
à chamada condição de ameaça, visto que antes da realização da 
tarefa, foi dito explicitamente para eles que 0 objetivo do estudo 
era avaliar a inteligência dos participantes. 

Nestes experimentos, partiu-se do pressuposto que as diferenças 
na performance de brancos e negros não são apenas consequência 
da melhor preparação dos brancos, pois mesmo nas circunstâncias 
em que os estudantes das duas etnias têm um preparo acadêmico 
equivalente, submetidos à condição de ameaça dos estereótipos, os 
negros obtêm escore menor. Os resultados mostram um claro efeito 
da etnia, pois os estudantes negros, alocados à condição de ameaça, 
obtiveram escore significativamente menor do que os estudantes 
alocados em outros grupos, fossem eles brancos ou negros. 

Dado que as evidências sobre este efeito têm sido encontradas em 
estudos conduzidos em diversos contextos, a principal preocupação 
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dos teóricos é identificar os mediadores relacionados à ameaça dos 
estereótipos. Dentre os citados na literatura, podem ser identificados 
o nível de ansiedade (OSBORNE, 2001a; SPENCER; STEELE; QUINN, 
i999)> o endosso do estereótipo (LEYENS, et al., 2000), a percepção da 
dificuldade do teste (SHIH; PITTINSKY, AMBADY, 1999), a quantidade 
de esforço empregado na realização da tarefa (SMITH, 2004), 0 nível 
de autoestima e 0 desengajamento em relação à tarefa (STONE, 2002), 
a apreensão ao ser avaliado (SMITH, 2004; SPENCER; STEELE; QUINN, 
1999) e a confiança na performance. (STEELE; ARONSON, 1995) 

A consciência de ser negativamente estereotipado aumenta a 
ansiedade situacional e a apreensão quanto a ser avaliado, quando 0 
domínio é relevante para 0 indivíduo. Osborne (2001a) investigou se 
a ansiedade pode ser considerada um fator importante na explicação 
das diferenças raciais na performance acadêmica e de gênero na 
esfera da matemática e encontrou evidências favoráveis ao papel de 
uma mediação parcial da ansiedade no desempenho acadêmico de 
estudantes negros. Do mesmo modo, a ansiedade explicou parcial- 
mente as disparidades de gênero em tarefas de matemática, apesar 
do tamanho do efeito encontrado ter sido pequeno. 

Leyens e colaboradores (2000) testaram os efeitos da ameaça dos 
estereótipos utilizando tarefas de decisão lexical, de valência e de 
processamento afetivo ao investigar como os membros de grupos 
usualmente dominantes, como os brancos, sobre os quais não há um 
estigma generalizado, têm a performance afetada por estereótipos 
negativos. A manipulação da ameaça se referia a uma deficiência mas- 
culina em processar informações afetivas, e por se tratar de um grupo 
que não possuía uma história prévia de estigmatização, verificou-se 
a aceitação desse estereótipo pelos homens. A mensuração deste 
possível mediador foi realizada através de cinco questões, duas delas 
contendo perguntas sobre a aceitação do estereótipo aplicado ao 
grupo, enquanto as restantes se referiam ao endosso de estereótipo 
no plano individual. Neste último caso, os participantes deveriam se 
autoavaliar no desempenho das tarefas propostas quando comparados 
com as mulheres. Os achados demonstram que, tanto no nível grupai 
quanto individual, 0 endosso do estereótipo não exerceu qualquer 
efeito de mediação no desempenho das tarefas experimentais. 
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A percepção da dificuldade do teste tem sido igualmente investi- 
gada como uma provável mediadora dos efeitos da ameaça dos este- 
reótipos. Shih, Pittinsky e Ambady (1999) admitiram que a percepção 
da tarefa exerceria um efeito mediador no desempenho. Em um 
questionário pós-experimento, os participantes avaliaram 0 próprio 
desempenho no teste, o grau de dificuldade da tarefa e também 
realizaram uma autoavaliação das suas habilidades no domínio da 
matemática. Contrariando as previsões, a percepção da dificuldade 
do teste não forneceu subsídios para ajudar a compreender os efeitos 
da ameaça dos estereótipos no desempenho dos participantes. 

Steele e Aronson (1995) suspeitaram que a confiança na perfor- 
mance pudesse variar em função da condição experimental. No 
primeiro experimento realizado, a confiança no desempenho foi 
tratada como variável dependente, mas não foram encontradas re- 
lações entre 0 desempenho no teste e 0 grau de confiança atribuído 
pelos participantes ao próprio desempenho. 

Spencer, Steele e Quinn (1999) adotaram o mesmo paradigma 
experimental proposto por Steele em um estudo conduzido com 
uma amostra de mulheres e homens no desempenho em tarefas 
envolvendo questões muito difíceis de matemática. Testaram como 
possíveis mediadores da relação entre a ameaça dos estereótipos e 
0 desempenho 0 nível de ansiedade, a autoavaliação de eficácia e a 
apreensão ao ser avaliado. Este último mediador corresponde aos 
sentimentos que os estudantes teriam, caso a performance fosse 
muito ruim no teste, e se eles questionariam as próprias habilidades 
com base nos resultados obtidos no experimento. Os resultados da 
avaliação dos três possíveis mediadores mostraram que apenas a 
ansiedade exerceu uma mediação parcial. 

A quantidade de esforço empregada na realização da tarefa foi 
estudada por Smith (2004), que apontou duas hipóteses para ex- 
plicar a relação entre a dedicação à atividade e o desempenho de 
indivíduos pertencentes a grupos estereotipados. A primeira delas 
afirmava que membros de tais grupos se esforçam menos que os 
outros em testes que salientam os estereótipos, e por consequência, 
têm um desempenho ruim. A segunda hipótese, oposta à primeira, 
supunha que 0 esforço empregado é demasiado, 0 que terminaria 
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proporcionando uma queda no desempenho. Freire (2005) ressalta 
a enorme dificuldade encontrada pelos pesquisadores para medir 
esta variável, pois alguns definem 0 esforço através do tempo gasto 
para a realização da tarefa, enquanto outros focam na quantidade de 
questões respondidas. Devido a este problema conceituai, a quanti- 
dade de esforço despendido para a realização da atividade tem sido 
frequentemente investigada mediante a adoção de dois tipos de 
medida: uma de autorrelato, na qual os participantes informam 0 
quanto se esforçaram durante a realização da tarefa experimental 
e a segunda, mediante a mensuração do tempo de resposta gasto 
para completar as tarefas. 

O desengajamento em relação à tarefa diz respeito a pouca eficá- 
cia que 0 participante atribui ao teste para medir suas habilidades. 
Em uma pesquisa desenvolvida por Stone (2002), previa-se que so- 
mente os participantes realmente engajados na tarefa se sentiriam 
ameaçados. Os resultados encontrados corroboram esta hipótese, 
pois ao investigar a performance atlética de indivíduos submetidos 
a ameaça, aqueles classificados como psicologicamente engajados 
obtiveram desempenho significativamente inferior aos não enga- 
jagados. Stone também verificou, mediante a mensuração do nível 
de autoestima dos estudantes, 0 impacto desta variável mediadora 
e não encontrou nenhuma evidência digna de nota. 

O delineamento da pesquisa aqui relatada é claramente inspirado 
nos trabalhos de Claude Steele (STEELE; ARONSON, 1995) sobre 
a ameaça dos estereótipos na performance intelectual de negros 
americanos. Dentro desta perspectiva, o objetivo central do pre- 
sente estudo é compreender 0 que acontece com 0 desempenho de 
estudantes cotistas em um teste envolvendo diversos domínios da 
lógica formal. 

Uma vez que os efeitos deletérios da ameaça do estereótipo 
já são amplamente documentados na literatura internacional, a 
preocupação atual dos estudiosos da área, além de verificar a aplica- 
bilidade da teoria em outros contextos, é averiguar os mecanismos 
psicológicos responsáveis pelos déficits na performance e o que 
pode ser realizado para reverter estes efeitos. Para atender a esta 
última questão, 0 presente estudo testou 0 efeito da valorização 
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dos atributos positivos dos cotistas, assim como analisou o impacto 
individual de possíveis mediadores no desempenho dos cotistas nas 
tarefas de raciocínio lógico. 

Ao estudar o impacto da ameaça dos estereótipos na performan- 
ce intelectual dos cotistas, que estudam em um ambiente muitas 
vezes hostil ou mesmo ameaçador, a principal hipótese testada foi 
a de que os estudantes cotistas, alocados à condição de ameaça dos 
estereótipos, apresentariam um desempenho significativamente 
inferior aos não cotistas. De forma correlata, formulou-se a hipótese 
de que a valorização dos atributos positivos dos cotistas reduziria as 
diferenças de rendimento intelectual entre cotistas e não-cotistas. 


AÇÕES AFIRMATIVAS E COTAS UNIVERSITÁRIAS 

As ações afirmativas na educação consistem, basicamente, no uso de 
cotas ou reserva de vagas em que atributos, como a raça ou gênero, 
funcionam como um critério de seleção entre candidatos qualifica- 
dos. (CROSBY, IVER; SINCHAROEN, 2006) No Brasil, a implantação 
de políticas de ação afirmativa adquiriu maior visibilidade em de- 
corrência da inclusão do critério de cotas raciais para 0 ingresso no 
ensino superior. (MAIO; SANTOS, 2005) Segundo dados fornecidos 
pelo Ministério da Educação e Cultura (BRASIL, 2005), um projeto de 
lei de autoria do Executivo, em tramitação no Congresso Nacional, 
determina que as Instituições Federais de Educação Superior devam 
reservar, no mínimo, metade de suas vagas a alunos que cursaram 
todo 0 ensino médio em escolas públicas. Para seleção dos candidatos, 
deve ser considerada a composição étnica da população estadual. 
Conforme 0 censo de 2000 realizado pelo Instituto Brasileiro de Geo- 
grafia e Estatística (IBGE), 53,8% da população brasileira é constituída 
por brancos, 39,1% de pardos e 6,2% se autodeclararam como pretos, 
por fim, amarelos e indígenas, juntos somam 4 % da população. 

A adoção de ações afirmativas no ensino público de nível superior 
brasileiro é cercada de muita polêmica, e um dos possíveis motivos 
para isto é 0 fato desta ação se desenvolver no âmbito da educação 
superior, talvez a única esfera capaz de proporcionar mudanças 
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sociais em escala expressiva, ou seja, que resultem em uma ascensão 
socioeconômica dos negros. 

O ingresso no ensino superior sempre foi regido pelo princípio 
meritocrático, mas com a adoção das cotas uma contradição se 
instala. Nas universidades participantes do programa de cotas o 
critério de aprovação é também o escore obtido nas provas de 
vestibular, seguindo a ordem de classificação, mas para os bene- 
ficiários do sistema de cotas, consideram-se ainda outros fatores, 
como a origem escolar e a cor da pele. Carvalho (2005) ressalta que 
este processo de inclusão étnico e racial é de enorme importância, 
pois pela primeira vez na história das universidades brasileiras se 
admite a presença significativa de estudantes negros e indígenas 
em um ambiente quase que exclusivo das classes economicamente 
mais privilegiadas. 

Para aqueles que defendem a adoção de tais políticas, 0 argumento 
central é que apesar de estarem longe de proporcionar o fim do 
preconceito e da discriminação racial, o sistema de cotas ajuda a re- 
duzir 0 fosso existente entre brancos e não brancos. Assim, para eles, 
ações afirmativas são necessárias, dado que a discriminação contra 
os negros é ainda muito forte. Outro argumento utilizado na defesa 
destes programas é que negros e brancos nunca concorreram em 
igualdade de condições, visto que desde 0 nascimento os negros estão 
em desvantagem, por isso, a necessidade de uma compensação. 

De modo geral, percebe-se que tanto aqueles que são contra, 
quanto os que advogam em favor desta política possuem argumentos 
aceitáveis. Dada a natureza muitas vezes cruel e sarcástica dos argu- 
mentos adotados em muitos fóruns de discussão, a representação 
do cotista se encontra associada a uma série de crenças negativas, 
como, por exemplo, de que são menos capazes, que não conseguirão 
term i nar 0 curso ou mesmo que serão responsáveis pela queda de 
qualidade de ensino nas universidades públicas. Queiroz e Santos 
(2007) assinalam que estes argumentos não estão presentes apenas 
no domínio acadêmico, mas são amplamente compartilhados e 
debatidos na sociedade, com enormes repercussões na mídia tele- 
visiva, nos jornais e revistas de grande circulação e em inúmeras 
páginas da internet. 
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0 presente experimento foi desenvolvido em duas universidades 
públicas de Salvador-BA, a Universidade Federal da Bahia (UFBa) e 
Universidade do Estado da Bahia (UNEB). Na UNEB, o programa de 
ações afirmativas foi consolidado no vestibular de julho de 2002 e 
estabelecia uma reserva mínima de 40% das vagas para a população 
aífodescendente oriunda de escolas públicas, no preenchimento dos 
postos relativos aos cursos de graduação e pós-graduação oferecidos 
nos 21 núcleos espalhados no estado, seja na forma de vestibular ou 
de qualquer outro processo seletivo. 

Para a inscrição no vestibular da UNEB, o candidato deve pre- 
encher um formulário que consta de uma pergunta de resposta 
opcional, em que se solicita a autodeclaração racial de acordo com 
a classificação do IBGE em branco, amarelo, pardo, preto e indígena. 
No caso daqueles que optam pela seleção mediante o sistema de cotas 
para afrodescendentes, a resposta deve ser obrigatoriamente preto 
ou pardo. As provas de seleção independem do critério de inscrição, 
as mudanças no processo seletivo se referem apenas à porcentagem 
de vagas às quais os candidatos concorrem. Os que cursaram 0 ensino 
médio em escola pública se definiram como afrodescendentes e 
optaram pelo sistema de cotas concorrem a 40% das vagas, enquanto 
os que não se enquadram neste perfil disputam as vagas restantes. 
(UNIVERSIDADE DO ESTADO DA BAHIA, 2005) 

No caso da UFBa, os critérios de seleção e convocação dos can- 
didatos para preenchimento das vagas oferecidas nos cursos de 
graduação foram modificados a partir do vestibular de 2005. (UNI- 
VERSIDADE FEDERAL DA BAHIA, 2005) Uma diferença fundamental, 
no entanto, é que na UFBa os candidatos a uma vaga pelas cotas 
devem ter cursado os três anos do ensino médio e mais um ano do 
ensino fundamental no sistema público de educação. Os cotistas da 
UFBa dispõem de 45% das vagas dos cursos de graduação, distribuídas 
por critérios étnicos da seguinte forma: 43% são destinadas aos que se 
autodeclaram pretos e pardos, (composto por 85% do percentual de 
43%) e os autodeclarados brancos (15% dos 43%); e um percentual de 
2 % é reservado aos índiosdescendentes, além disso, duas vagas, em 
cada curso, são destinadas aos índios aldeados e estudantes vindos 
de comunidades quilombolas. 
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HIPÓTESES 


As hipóteses elaboradas de acordo com os princípios oriundos da 
teoria da ameaça dos estereótipos foram enunciadas nos seguintes 
termos: 

a) Na condição de ameaça, os estudantes cotistas apresentarão 
um desempenho significativamente inferior aos não cotistas 
submetidos a esta mesma condição. 

b) Os cotistas alocados à condição de valorização dos atributos 
positivos terão uma performance mais positiva que os aloca- 
dos à condição de controle e ameaça e mais próxima àquela 
apresentada pelos não cotistas. 

c) Os cotistas alocados ao grupo controle, por estarem sujeitos 
à ameaça decorrente da realização de um trabalho intelec- 
tual, apresentarão um resultado inferior ao dos não cotistas, 
embora esta diferença não seja tão intensa quanto a apresen- 
tada na condição em que a ameaça é explicitada no desenho 
experimental. 

d) Os cotistas submetidos à condição de ameaça apresentarão 
indicadores mais negativos em relação aos mediadores ante- 
riormente especificados. 


MÉTODO 

O experimento foi desenvolvido de acordo com um delineamento 
3x2.0 primeiro fator refere-se às condições experimentais (ameaça 
aos cotistas x valorização de atributos dos cotistas x controle) e o 
segundo fator se refere à forma de entrada na universidade (cotistas 
x não cotistas). 

A coleta de dados ocorreu entre julho de 2006 e maio de 2007 e 
contou com a participação voluntária de 120 estudantes universitá- 
rios (60 cotistas e 60 não cotistas), alocados aleatoriamente nos três 
grupos experimentais por meio de procedimentos computadoriza- 
dos. Cada condição experimental foi composta por 20 estudantes 
cotistas e 20 estudantes não cotistas. 


234 JOICE FERREIRA DA SILVA & MARCOS EMANOEL PEREIRA 


Ao final de cada sessão experimental, os estudantes foram infor- 
mados sobre o objetivo da pesquisa e receberam explicações porme- 
norizadas sobre os procedimentos adotados, principalmente sobre 
o caráter situacional da manipulação da variável, além de serem 
comunicados que as informações apresentadas sobre o desempenho 
de cotistas e não cotistas eram fictícias. 

O aplicativo utilizado para o procedimento de coleta de dados, 
criado com o sistema de autoria Toolbook Instructor II por um dos au- 
tores do presente capítulo, consistia de 21 questões de diversos tipos 
de raciocínio lógico: sucessões de dominós; proposições categóricas; 
afirmação e negação; raciocínio lógico que envolve argumentos com 
verdade e mentira; raciocínio lógico-quantitativo; sucessões lógicas; 
raciocínio lógico-crítico e lógico-analítico. 

Na Figura 1, é possível visualizar a tela do computador com um 
exemplo de questão, que permitiu mensurar o tempo requerido 
para responder cada questão de raciocínio lógico e calcular 0 grau 
de precisão da resposta. 



Figura 1: Exemplo de questão do experimento de raciocínio lógico 
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Independente da condição experimental, antes do início do ex- 
perimento, foi apresentada uma tela informando que o aplicativo 
consiste em um teste para avaliar a capacidade intelectual. Os par- 
ticipantes também foram advertidos para que trabalhassem rápido, 
pois eles disporiam de três minutos para responder cada questão 
(conforme se observa no contador de tempo, posicionado no canto 
superior direito da tela do computador - ver Figura 1). Encerrados os 
três minutos, se o participante não tivesse respondido à pergunta o 
aplicativo direcionava de forma automática para o próximo item de 
avaliação. Para evitar que os participantes “chutassem” foi adotado 
um procedimento para corrigir o escore. Desta forma, para cada 
questão corretamente respondida era creditado um ponto e para 
cada erro era descontado 0,2 pontos no escore total. A opção “prefiro 
não responder” permitia ao estudante evitar responder à questão, 
de forma a não ganhar ou perder pontos. Após a finalização do teste, 
os participantes responderam algumas questões sobre possíveis 
mediadores, incluídas com a finalidade de identificar e mensurar a 
quantidade de esforço despendido na realização da tarefa, 0 nível 
de ansiedade durante a realização da tarefa, a percepção da difi- 
culdade do teste, a autoavaliação do desempenho, a autoconfiança 
na performance, 0 desengajamento em relação à tarefa, o endosso 
dos estereótipos e a apreensão quanto a ser avaliado. Além destas 
medidas, também foi aplicada a escala de autoestima de Rosenberg, 
validada no Brasil pelo Laboratório de Medidas da Universidade 
Federal do Rio Grande do Sul. 

A ativação da ameaça dos estereótipos foi efetuada na etapa inicial 
da pesquisa, mediante a leitura de um breve texto introdutório. Na 
primeira condição experimental, na qual se introduz a ameaça do es- 
tereótipo, o texto se referia a uma pretensa superioridade dos alunos 
não-cotistas, ou seja, daqueles que entraram na universidade pelo 
sistema convencional, exclusivamente pelo critério de classificação 
nas provas de vestibular. Na segunda condição experimental, deno- 
minada condição de valorização, 0 texto apresentado era semelhante 
ao primeiro, diferindo apenas por ressaltar os atributos positivos dos 
estudantes cotistas. No caso do grupo controle não se apresentou 
qualquer referência à questão das cotas nas universidades ou do 
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desempenho acadêmico e os participantes iniciaram a tarefa a partir 
das instruções específicas sobre o teste de lógica. 


RESULTADOS 

Para testar o efeito conjunto da ameaça dos estereótipos e da con- 
dição de entrada na universidade, foi realizada uma ANOVA 3x2. 
Conforme se observa na Tabela 1, foram encontrados efeitos significa- 
tivos para a condição de entrada na universidade, com os resultados 
dos cotistas inferior ao dos não cotistas (F (i ii4) = 17,59, P < .001) e uma 
interação entre a condição experimental e a modalidade de entrada 
na universidade (F (o = 4,14, p < .05). 


Tabela 1: Média e desvio padrão do escore corrigido de cotistas e 
não-cotistas por condição experimental 


Condição experimental 

Cotista 

Não-cotista 

Total 


Média 

DP 

Média 

DP 

Média 

DP 

Ameaça 

6,96 

3,54 

10,84 

2,40 

8,90 

3,57 

Valorização 

8,38 

1,93 

8,77 

2,44 

8,57 

2,18 

Controle 

7,44 

3,02 

9,41 

2,67 

8,42 

2,98 

Total 

7,59 

2,92 

9,67 

2,61 

8,63 

2,95 


Conforme postulado na hipótese 1, uma análise comparativa con- 
duzida mediante a aplicação do teste t evidenciou uma média signifi- 
cativamente inferior (t (3g) =4,os, p <.001) entre os participantes cotistas 
alocados à condição de ameaça do estereótipo (M = 6,96; DP = 3,54), 
quando os resultados do escore corrigido são comparados com os 
estudantes não cotistas na mesma condição (M = 10,84; DP = 2,40). 
Esta diferença no desempenho, de quase quatro pontos, foi a maior 
entre todas as condições e oferece um forte indicador do impacto 
negativo da ameaça dos estereótipos na performance dos cotistas. 

Osborne (2001b) afirma que a literatura aponta evidências con- 
vincentes de que estudantes pertencentes a grupos minoritários, em 
situações ameaçadoras, têm desempenho inferior ao apresentado por 
membros dos grupos hegemônicos. Na pesquisa realizada por Steele 
e Aronson (1995), na condição de ameaça, os negros, considerados 
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minoria social, obtiveram desempenho significativamente inferior 
aos brancos. Estes resultados são compatíveis com as evidências 
encontradas nos resultados aqui relatados. Os cotistas, pertencentes 
a uma categoria social sobre a qual recai uma série de estereótipos 
negativos, principalmente no tocante à performance intelectual na 
universidade, na condição de ameaça dos estereótipos, obtiveram 
um desempenho significativamente inferior aos não-cotistas. 

Conforme se observa no gráfico apresentado na Figura 2, este 
resultado fica ainda mais evidente durante a análise dos dados dos 
participantes alocados à condição de valorização dos atributos po- 
sitivos dos cotistas. 
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Figura 2: Intervalo de confiança de 95% das médias de escore bruto de cotistas e não 
cotistas por condição experimental 


A segunda hipótese postulada foi que o desempenho dos cotistas 
seria mais próximo dos não-cotistas na condição de valorização do 
que nas demais. A análise proporcionada pelo teste t evidencia que a 
diferença entre a performance de cotistas (M = 8,38; DP = 1,93) e não 
cotistas (M = 8,77; DP = 2,45) não foi estatisticamente significativa 
(t (38) =o,56,p = ns). 
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Os achados dos cotistas na condição de valorização são, evidente- 
mente, os que mais se destacam e podem ser comparados aos obtidos 
em outras pesquisas que também buscaram verificar os mecanismos 
para reduzir ou eliminar as diferenças de desempenho. (ARONSON, 
et al„ 1999; DANSO; ESSES, 2001; MARX; ROMAN, 2002; SACKETT, 
HARDISON; CULLEN, 2004) Marx e Roman (2002) revelaram, através 
de estudos experimentais, que a performance de mulheres em testes 
de matemática pode ser protegida dos efeitos da ameaça dos este- 
reótipos nas circunstâncias em que uma experimentadora do sexo 
feminino é apresentada como modelo de competência no domínio 
quantitativo. Na presente pesquisa, 0 texto no qual era explicitado 
que o desempenho dos cotistas tem sido bastante satisfatório e que 
eles são mais motivados e comprometidos com 0 curso, apresentado 
antes da tarefa experimental aos participantes alocado à condição 
de valorização dos atributos dos cotistas, pode ter funcionado como 
proteção, assim como a presença da figura da experimentadora habi- 
lidosa no experimento de Marx e Roman (2002). Este pequeno texto 
parece ter sido suficiente para fazer desaparecer os efeitos da ameaça 
dos estereótipos. Vale ressaltar que na presente pesquisa, ao contrário 
da de Steele e Aronson (1995), na qual os escores foram corrigidos 
usando a ANCOVA, não foi feita qualquer tentativa de correção, o que 
indica um efeito mais realista e intenso da condição experimental. 

A hipótese 3 se refere ao teste na condição de controle. A litera- 
tura indica que 0 simples fato de pertencer a um grupo sob 0 qual 
paira no ar uma ameaça e ser submetido a um teste relacionado 
com 0 objeto das crenças estereotipadas é, por si apenas, suficiente 
para configurar uma situação ameaçadora. Assim, no grupo controle 
podia-se esperar ainda 0 efeito da ameaça do estereótipo, mesmo 
que esta não incidisse de uma forma tão acentuada quanto no caso 
da condição de ameaça do estereótipo, na qual a ameaça implícita 
foi reforçada com a ameaça explícita apresentada nas instruções do 
experimento. Conforme os números apresentados na Tabela 1, pode 
ser observada uma diferença de dois pontos em média no desempe- 
nho de cotistas (M = 7,44; DP = 3,02) e nãocotistas (M = 9,41; DP = 2,67), 
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uma diferença que apesar de estatisticamente significativa (t (3g) = 
2,18, p <.05), não é tão intensa quanto a que se observa na condição 
de ameaça do estereótipo. Essa diferença, embora menor que na 
condição de ameaça, ao menos parcialmente, pode ser interpretada 
como um atributo do próprio caráter diagnóstico do teste, visto que 
nas instruções iniciais 0 teste foi apresentado, claramente, como 
uma avaliação da capacidade intelectual dos estudantes. Carvalho 
(2005, p. 78) ressalta que 0 “[...] saber acadêmico exerce um profundo 
efeito inibitório na maioria das pessoas em geral”. Não parece difícil 
imaginar que estudantes que entraram na universidade através de 
um sistema em que a classificação dos escores obtidos nas provas de 
vestibular não foi 0 único critério, se sintam ameaçados diante de 
avaliações com objetivo de mensurar a inteligência. Se 0 fato de ter 
sido aprovado em um curso de alto prestígio em uma universidade 
pública funciona como um indicador de inteligência, ingressar atra- 
vés das cotas pode não garantir 0 mesmo efeito para a autoestima 
dos estudantes, visto que os estereótipos aplicados aos cotistas são 
quase sempre negativos. Talvez os cotistas ainda sofram de uma 
sobreposição de estereótipos, pois a categoria cotista é composta, 
na sua maioria, por estudantes negros oriundos de escolas públicas, 
ainda que boa parte dos estudantes que compuseram a amostra da 
presente pesquisa tenha estudado em escolas públicas de qualidade 
reconhecida, como por exemplo os Centros Federais de Tecnologia 
e os colégios militares. 

Os dados encontrados na presente pesquisa também oferecem 
suporte à ideia de que um indivíduo pertencente ao grupo dominan- 
te, ao saber que terá sua performance comparada com um grupo 
considerado inferior melhora significativamente o desempenho. 
De fato, enquanto 0 resultado dos cotistas submetidos à ameaça dos 
estereótipos foi bastante comprometido, neste grupo os não cotistas 
apresentaram a melhor performance. Estes resultados, portanto, 
indicam que o texto utilizado para ativar estereótipos negativos 
nos cotistas serviu, não só para produzir 0 efeito de reduzir o de- 
sempenho deste grupo, como também criou uma condição que 
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proporcionou aos não cotistas uma forma de dar legitimidade às 
crenças negativas a respeito dos estudantes que entraram na uni- 
versidade mediante o sistema de reserva de vagas. Danso e Esses 
(2001) interpretam resultados semelhantes a estes, em termos da 
percepção da ameaça de competição em relação a membros de 
grupos minoritários, pois os resultados indicam que os brancos 
respondem corretamente a um maior número de itens quando 0 
teste é aplicado por um experimentador negro. 

Afora a análise comparativa, realizada mediante a condução da 
ANOVA, foi conduzida uma equação de regressão com a finalidade 
de avaliar 0 impacto de cada uma das variáveis preditoras sobre 0 
desempenho acadêmico dos participantes do estudo. Adotou-se 0 
procedimento de regressão linear hierarquizada, já que esta técnica 
permite avaliar a proporção de variância de uma dada variável crité- 
rio, quando outras variáveis são incluídas na equação de regressão 
em uma ordem definida pelo pesquisador. Para fins de análise, 
foram constituídos três blocos, o primeiro relativo às condições 
experimentais, 0 segundo relacionado às variáveis sociodemográficas 
e 0 terceiro e último, onde foram incluídos os efeitos das possíveis 
variáveis mediadoras. 

No primeiro bloco, foram incluídas as variáveis dummy ameaça, 
em contraposição às condições de valorização e controle; uma outra 
variável dummy cotista, em contraposição à variável não cotista e 
uma terceira variável ameaça ao cotista (ameacot), que representa 
uma interação entre a duas variáveis iniciais. O segundo bloco da 
equação de regressão inclui a variável idade e a variável dummy sexo 
feminino. No terceiro e último bloco foram introduzidas as variáveis 
que poderiam vir a exercer um efeito de moderador, incluído o 
tempo total de respostas em minutos, para avaliar 0 esforço, além 
das variáveis; confiança na performance, desengajamento em relação 
à tarefa, percepção da dificuldade do testes, apreensão quanto a ser 
avaliado, endosso do estereótipo, ansiedade e autoestima. 

Os valores obtidos mediante a regressão hierarquizada múltipla 
podem ser observados na Tabela 2. 
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Tabela 2. Resultados da equações de regressão linear hierarquizada 



Modelo 1 

Condição experimental 
apenas 

Modelo II 

Condição experimental 
& sociodemográfica 

Modelo II 

Condição experimental, 
sociodemográfica & 
mediadores 

Variável 

Coef. 

E.P. 

Coef. 

E. P. 

Coef. 

E. P 

Intercepto 

9,09** 

,42 

9,66** 

,44 

8,06* 

3,33 

Condição experimental 







Ameaça 

1,90* 

,73 

1,86* 

,70 

1,65* 

,66 

Cotista 

-1,20* 

,59 

-,68* 

,81 

-,90 

,77 

Ameaça x Cotista 

-2,45* 

1,03 

-2,33* 

1,01 

-2,18* 

,92 

Sociodemográfica 







Sexo feminino 



-1,97* 

,55 

-1,25* 

,52 

Escola pública 



-,75 

,81 

-,42 

,79 

Mediadores 







Confiança no desempenho 





-.15 

,15 

Desengajamento 





-.14* 

,07 

Endosso do estereótipo 





,-01 

,07 

Percepção da dificuldade do teste 





,39* 

,09 

Apreensão quanto a ser julgado 





,01 

,06 

Ansiedade 





-.15 

,10 

Autoestima 





-,01 

,06 

Tempo total de resposta 





,01 

,00 

F(gl) 

8, 24(3) 


49,31(5) 


6,16 (13) 


R2 ajustado 

0,160 


0,236 


0,370 



No modelo 1, as variáveis ameaça, cotista e a interação entre as 
duas foram incluídas no primeiro bloco e explicam 16% da variância 
do desempenho. O modelo 2, ao incluir as variáveis sociodemográ- 
ficas como preditoras, otimiza o poder preditivo da equação de 
regressão que passa a responder por 24% da variância nos testes. 
O modelo 3, ao acrescentar as variáveis moderadoras, faz com que 0 
poder preditivo da equação de regressão explique 37% da variância 
total do desempenho. 

A análise dos coeficientes do modelo 3 permite destacar alguns 
resultados mais marcantes. A primeira tendência a chamar atenção é 
a de que a alocação à condição experimental ameaça do estereótipo 
faz com que o participante, seja ele cotista ou não, passe a apresentar 
um desempenho de 1,65 pontos acima do que seria esperado. Este 
resultado positivo da condição de ameaça não se mantém, no entan- 
to, quando se analisa a interação entre a ameaça e a condição de ser 
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cotista. Neste caso, o resultado previsto pela equação de regressão 
aponta que os estudantes cotistas, quando alocados à condição de 
ameaça dos estereótipos, deverão errar 2,18 questões a mais do que 
a média de todos os participantes. 

No que concerne às variáveis demográficas, os resultados apon- 
tam para uma expectativa de que as participantes do sexo feminino 
errem, em média, 1,25 a mais de questões que os homens. 

A análise dos coeficientes das variáveis do terceiro bloco sugere 
que apenas as variáveis desengajamento e percepção da dificuldade 
do teste contribuíram de forma significativa para a explicação da 
variância do desempenho dos participantes. No caso do desenga- 
jamento, 0 coeficiente é negativo e indica que a cada unidade de 
desengajamento na escala corresponde a uma redução de 0,14 
acertos na média corrigida, enquanto a percepção da dificuldade 
do teste está positivamente associada com o desempenho, indi- 
cando que um acréscimo de um grau na escala de percepção da 
dificuldade faz com que seja esperado um acréscimo de 0,39 de 
acertos acima da média. 

De modo geral, os resultados parecem consistentes no sentido 
de confirmar que os déficits no desempenho dos estudantes cotistas 
são decorrentes da presença da ameaça dos estereótipos. Na con- 
dição de ameaça, a performance dos cotistas é inferior a dos não 
cotistas alocados em quaisquer condições, assim como é inferior a 
dos cotistas nas condições de valorização e controle. Estes resultados 
corroboram a hipótese de que os indivíduos tendem a apresentar 
um decréscimo de performance quando acreditam que o critério de 
julgamento do desempenho é baseado em crenças estereotipadas. 
Se apenas um pequeno texto relacionado a estereótipos sobre os 
cotistas foi capaz de produzir efeitos negativos na performance 
destes estudantes, 0 que dizer das crenças e expectativas de pais e 
professores na vida de um estudante. Carvalho (2005, p. 77) afirma 
que “[...] um professor pode m i nar a autoestima de um aluno de um 
modo quase definitivo, às vezes uma única frase pode facilmente 
produzir efeitos devastadores”, na vida de um estudante. 

Chama a atenção também 0 fato da maior média dos não cotistas 
ter sido obtida na condição em que havia uma ameaça direcionada 
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aos cotistas. Para os estudantes que ingressaram na universidade 
pelo sistema de seleção tradicional, o texto utilizado para ativar 
estereótipos pode ter servido para potencializar o desempenho 
dos não-cotistas, pois obtiveram informações explícitas de que nos 
domínios de lógica investigados, sua performance é flagrantemente 
superior a dos cotistas. 

Os efeitos deletérios da ameaça dos estereótipos são repetidamen- 
te descritos na literatura especializada desde as primeiras pesquisas 
realizadas por Steele em 1995. Sem dúvida, os dados mais interessan- 
tes da presente pesquisa se relacionam com a condição de valorização 
dos atributos positivos dos cotistas, na qual não foram encontradas 
diferenças significativas no desempenho de cotistas e não cotistas. 

A existência de estereótipos negativos a respeito de um grupo, 
de fato, aumenta o risco do indivíduo confirmar os estereótipos 
ao realizar uma tarefa relacionada ao estereótipo. Com base nos 
resultados encontrados, pode-se concluir que, neste teste em par- 
ticular, as diferenças de desempenho de cotistas e não cotistas 
não são decorrentes de melhor preparação dos não cotistas, visto 
que quando os cotistas foram elogiados na condição de valoriza- 
ção, a performance dos mesmos foi semelhante a dos não cotistas. 
Os resultados da presente pesquisa são encorajadores, pois, ao 
mesmo tempo em que constatam que a performance intelectual 
pode ser afetada por estereótipos negativos, indicam também uma 
possibilidade de reverter tais efeitos. 

Felizmente, percebe-se, visto 0 crescente número de pesquisas 
que buscam compreender os mecanismos, que podem proteger a 
performance dos membros de grupos estereotipados, que 0 foco das 
pesquisas nesta área já não é a de apenas enfatizar 0 efeito negativo 
dos estereótipos. (ARONSON, et al., 1999; MARX; ROMAN, 2002; 
SPENCER; STEELE; QUINN, 1999) 

Transpondo os resultados desta pesquisa de laboratório para 
situações mais concretas, poder-se-ia pensar que se os estudantes 
cotistas estiverem em ambientes nos quais se sintam protegidos, 
como, por exemplo, na presença de professores negros no corpo 
docente das universidades ou a valorização dos méritos dos estu- 
dantes oriundos de escolas públicas que conseguiram ingressar em 
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universidades públicas, é possível supor que as atuais diferenças 
no desempenho de cotistas e não cotistas possam ser reduzidas de 
forma significativa. 

A reflexão sobre o papel do professor também se torna neces- 
sária, uma vez que os resultados das pesquisas sobre a ameaça 
dos estereótipos demonstram que ações que valorizem os cotistas 
podem contribuir para o desempenho positivo, ao contrário das 
circunstâncias em que eles são submetidos ao efeito ameaçador 
dos estereótipos. Desta forma, é importante que os professores das 
universidades que adotam a política de cotas estejam conscientes 
da forma como podem interferir no desempenho dos seus alunos, 
positiva ou negativamente. 

Espera-se que as expectativas dos professores em relação à perfor- 
mance acadêmica dos cotistas sejam diferentes daquelas frequente- 
mente proferidas na mídia pelos opositores da medida, que preveem 
que os cotistas serão reprovados em um mais de disciplinas que os 
outros, que aumentará o número de evasão ou que estes levarão mais 
tempo para concluir a graduação. Além das dificuldades enfrentadas 
durante o curso, os contrários às cotas afirmam ainda que os cotistas 
encontrarão mais barreiras para se inserirem no mercado de tra- 
balho. As consequências de expectativas negativas em relação aos 
cotistas podem ser desastrosas para o desempenho acadêmico, visto 
que as crenças podem se tornar profecias autorrealizadoras, ou seja, 
a baixa expectativa dos professores pode levar a um desempenho 
medíocre, enquanto uma expectativa positiva pode ser capaz de 
promover algum aperfeiçoamento no desempenho dos estudantes. 
Os resultados da presente pesquisa, portanto, interessam, sobretudo, 
aos professores, personagens fundamentais na criação de ambientes 
seguros para as minorias que, com a implantação das cotas, passam 
a ocupar um lugar de destaque no ambiente universitário. 
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INTRODUÇÃO 

O debate em torno do tema da avaliação escolar tem apontado, so- 
bretudo, para a complexidade do fenômeno de ensino-aprendizagem 
e dos fatores que concorrem para ação da escola e para o desem- 
penho acadêmico dos estudantes - envolvendo elementos que vão 
da ordem das relações sociais, da estrutura institucional da escola, 
da cultura, dos currículos escolares e da formação dos professores. 
Este livro testemunha esse esforço de compreender as múltiplas 
facetas da “avaliação”. 

Um assunto inevitável - e que, em certa medida, despertou o 
interesse pela discussão sobre avaliação - é o tema do desempenho 
acadêmico e fracasso escolar. Entre educadores, cientistas sociais e 
psicólogos é unânime que devemos investigar melhor os elementos 
que concorrem para criar as condições do desempenho acadêmico 
e que, consequentemente, podem contribuir para a compreensão 
do fracasso escolar. Neste capítulo examinaremos um dos aspectos 
deste problema, a saber, a relação família-escola. 

Para tal exame é de fundamental importância destacarmos algu- 
mas das mudanças que se processaram no mundo a partir da segunda 
metade do século XX, com profundas implicações nas instituições 
sociais, como por exemplo, na escola e na família. 


SOCIEDADE, FAMÍLIA E ESCOLA: 

UM BREVE PANORAMA 

A segunda metade do século XX representou mudanças importantes 
em todos os setores da chamada vida moderna colocando “o mundo 
de pernas para o ar”. (HARVEY, 1996) Não houve instituição que 
não sofresse consequências do processo de urbanização intenso, 
combinado com uma revolução nos setores de comunicação e trans- 
porte, que possibilitaram uma ampliação jamais vista na capacidade 
de produção, armazenamento e circulação de conhecimento, com 
profundos efeitos na estruturação das relações sociais. 

Com relação ao processo de urbanização da sociedade, podemos 
verificar uma redefinição do mercado de trabalho, com 0 crescimen- 
to da importância do setor de serviços, a necessidade de formação 
de mão de obra cada vez mais qualificada para operar em uma 
economia cada vez mais complexa e interligada. Esse processo foi 
acompanhado da entrada das mulheres no mercado de trabalho 
com efeitos importantes nas relações familiares, redefinindo papéis 
e responsabilidades, reorganizando 0 cotidiano das famílias e sua 
estruturação enquanto instituição social. 

Uma das características marcantes deste processo de transforma- 
ção da família como instituição social na contemporaneidade é uma 
menor separação entre as esferas pública e privada, que parecem se 
mesclar em um processo de privatização do público, ou, em outras 
circunstâncias, na publicização da esfera privada. 

As fronteiras entre essas esferas foram, segundo Arendt (1997), 
determinantes na organização da educação e instituição escolar. A 
escola tinha por finalidade a transição entre a esfera privada - carac- 
terizada pela proteção ao indivíduo - e o mundo público. Para ela, 

[...] a escola não é de modo algum o mundo e não deve fingir 
sê-lo; ela é, em vez disso, a instituição que interpomos entre 
o domínio privado do lar e o mundo, com o fito de fazer que 
seja possível a transição, de alguma forma, da família para o 
mundo. (ARENDT, 1997, p. 225) 
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Na contemporaneidade, as fronteiras entre público e privado 
estariam sendo dissolvidas e a escola, neste sentido, entrando em 
crise de identidade, pelo menos em sua forma moderna. Segundo 
Azanha (1990/1991), essa crise na verdade não seria da escola, mas 
muito mais ampla. Uma crise política criada através da negação da 
discussão acerca da estrutura e do papel das instituições sociais na 
vida coletiva. Essa negação parece se agravar na contemporaneidade, 
uma vez que a esfera de discussão política parece se reduzir à eficácia 
das instituições no processo de realização da economia. 

Outra questão relevante para pensarmos as transformações das 
instituições sociais é o crescimento dos conteúdos de técnica e ci- 
ência na ordenação do mundo, cuja função central parece ser a 
ampliação do sistema capitalista em escala mundial. A produção e 
propagação do conhecimento possibilitaram, por um lado, diversas 
conquistas sociais, no entanto, desorganizaram as bases tradicionais 
de organização da vida social nos mais diversos lugares. 

Segundo Santos (1996), 0 processo de globalização - com efeitos 
no processo escolar e nas instituições educacionais - não deve ser 
compreendido apenas como um processo econômico, mas como uma 
reordenação dos lugares a partir do mundo; um processo heterôno- 
mo que busca submeter a pluralidade dos lugares ao funcionamento 
de uma única lógica cuja finalidade é a realização do processo de 
acumulação de capital. (SANTOS, 1996) 

Assim, os conhecimentos acumulados ao longo da história de 
cada sociedade - que atribuem sentido ao mundo dos objetos e 
às ações - vão sendo progressivamente substituídos por um saber 
heterônomo que se impõe, entre outros mecanismos, através da 
estruturação dos currículos e das práticas escolares. Segundo Jame- 
son (2001), no atual estágio de globalização do mundo, economia e 
cultura tendem a coincidir e, claro, os conteúdos escolares tendem a 
obedecer aquilo que se impõe como 0 novo, identificado como mais 
adequado e eficiente para a formação dos indivíduos na sociedade 
contemporânea. 

Outro aspecto de similar relevância diz respeito à discussão em 
torno das relações entre família e escola como um encontro de cul- 
turas. A família e escola se constituiriam, então, como instituições 
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individuais independentes? 0 encontro e relação de ambas seria um 
encontro de culturas ? Diversos pesquisadores ligados aos estudos cultu- 
rais (GARCÍA CANCLINI, 1998; HALL, 1997; NUNES, 2003) têm chama- 
do a atenção para a importância dos aspectos da cultura como força 
política na organização dos currículos e das práticas escolares. 

Um aspecto central dessa discussão remete à complexidade 
do mundo contemporâneo e, como apontamos no pensamento 
de Arendt (1997), na mistura existente entre as esferas pública e 
privada, sendo a escola uma instância que forja a mediação entre 
elas. Embora possamos reconhecer a adoção de uma perspectiva 
heterônoma na organização do trabalho escolar e que, muitas vezes, 
promove conteúdos que parecem estranhos à vida social, verifica- 
mos a tentativa atual do Estado de formulação de políticas públicas 
educacionais visando à adoção do desenvolvimento da participação 
e cooperação entre família e escola, criando uma possibilidade de 
ruptura de práticas e concepções já bem enraizadas. 

Pensar o processo de avaliação, o desempenho acadêmico, o 
fracasso ou 0 sucesso escolar, sem contemplar alguns desses aspec- 
tos é, na verdade, refletir sobre um falso objeto. Segundo Azanha 

(1990/1991, p. 37 ), 

No fundo, o professor, o aluno, o livro e outros componentes 
do ambiente escolar são “falsos objetos”, como diria Paul Vey- 
ne. Sob essas expressões, mascaramos o que é fundamental: o 
jogo das complexas relações sociais que ocorrem no processo 
institucional da educação. Muitas vezes, a descrição que faze- 
mos desses objetos, em vez de revelar esse jogo, obscurece o 
essencial. Não que por trás da realidade visível haja uma outra 
que não percebemos, mas porque somos incapazes de fazer 
incidir o esforço de descrição nos pontos de interesse. 

É a partir desse contexto amplo da educação como parte de um 
complexo jogo social que a avaliação deve ser compreendida. O de- 
sempenho acadêmico dos alunos não pode ser tomado como um dado 
estatístico isolado dos demais aspectos da escola e do contexto socio- 
histórico, mas como uma referência importante do sentido da escola 
em cada sociedade e das práticas desempenhadas em seu interior. 
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No novo contexto político-educacional brasileiro do período de 
redemocratização, a escola se caracterizaria como uma importante 
agência educacional e socializadora, complementando o trabalho 
desenvolvido pelas famílias. Por essa razão, tornou-se um tema de 
absoluta relevância a preocupação sistemática com o desempenho e 
a permanência dos alunos nas escolas e, como consequência, o papel 
da família nesse processo. Questões ligadas às causas do fracasso 
escolar, tais como: a formação docente, a gestão escolar, a responsa- 
bilidade e empenho da família na educação de seus filhos; as políti- 
cas públicas de atenção à educação; as condições de infraestrutura 
das escolas públicas, dentre outros, têm sido objeto de estudo de 
pesquisadores em todo o mundo. (GUZZO, 2001; NOGUEIRA; ABREU, 
2004; ZAGO; DAROS, 2002) 

A família 1 , entretanto, passou a ser um tema de interesse especial- 
mente analisado a partir de sua relação /parceria com a escola (donde a 
escola é a referência); ou seja, a família passou a ser avaliada a partir 
do seu papel, função e contribuição no processo educacional, bem 
como dos modelos de participação. Vale salientar que 0 conceito 
de parceria (entre a família e a instituição escolar) tornou-se uma 
espécie de dogma, de “categoria pública positiva” de percepção de 
mundo social. (SILVA apud NOGUEIRA, 2006) Além do discurso sobre 
essa parceria, observamos vários dispositivos institucionais como 
campanhas promovidas pelo Estado, jornadas de encontro entre pais 
e escola, contratos, com 0 objetivo de fomentar essa parceria. 

O desempenho acadêmico dos alunos passou a ser pensado como 
0 resultado do desempenho dos pais (qualidade da participação e 
envolvimento, controle e expectativas, empenho e compromisso 
com a ação educacional, práticas educativas, atribuição de sentido 
à vida escolar, etc). Segundo Godard (1992, p. 119), 


1 Sem ignorar as 
consequências e relações 
sociais externas, a 
família ou grupo familiar 
aqui é concebido não 
apenas como mero 
reflexo da classe social, 
mas como um sistema 
de ação, portador de 
um projeto autônomo 
comum e resultante e 
uma dinâmica normativa 
interna, em constante 
processo de mudança. 
(BOYER; DELCLAUX, 1995 
apud NOGUEIRA, 1998) 


Tudo se passa como se o êxito do filho consistisse uma espécie 
de símbolo do êxito pessoal dos pais, do bem fundado de 
seus valores e de sua concepção de educação; como se esse 
êxito se tornasse para os pais um critério fundamental de 
sua auto-estima. 
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Nesses termos, não apenas a família passa a ser considerada um 
agente determinante na vida escolar dos filhos, mas a educação 
ganha um valor central na vida da família contemporânea. 

Portanto, pensar a avaliação escolar e educacional envolve não 
apenas a análise das condições físicas, didático-pedagógicas ou coti- 
dianas no interior das instituições escolares, mas também a avaliação 
das práticas e significados da parceria entre a família e a escola, bem 
como dos diversos atores sociais que dela participam. 


A INVENÇÃO DO FRACASSO 


2 Mesmo porque, a ideia 
de um sujeito enquanto 
indivíduo portador de 
traços psicológicos, 
subjetividade, consciência, 
autorreferência e 
autodeterminação, como 
agente humano, self, 
é uma “invenção” da 
Modernidade. (DAZZANI, 
no prelo; TAYLOR, 1997, 

p 15) 

3 Uma abordagem 
rigorosa dos elementos 
presentes na história 
do sistema educacional 
brasileiro e sua relação 
com a história da cultura 
e sociedade brasileira 
pode ser encontrada em 
Romanelli (2005). 


O fracasso escolar tem constituído um foco de interesse de pesquisa- 
dores de diferentes áreas em função de suas implicações tanto para 
0 funcionamento global do indivíduo, como para o seu grupo social. 
De modo geral, uma das hipóteses mais difundidas e que comumen- 
te formula o quadro explicativo do fracasso escolar é a seguinte: 
indivíduos com baixo desempenho acadêmico estão vinculados a famílias de 
baixo nível socioeconômico, baixa escolaridade e pouco empenhadas na sua 
educação formal. (NOGUEIRA: ABREU, 2004: PATTO, 1999) 

A expressão “fracasso escolar” começou a ser utilizada mais 
frequentemente no século passado para descrever uma série de 
incapacidades relacionadas com 0 insucesso acadêmico a partir de 
uma específica concepção de educação, de aprendizagem e de sujeito 
da aprendizagem. Em primeiro lugar, é importante ressaltar que 
a ideia de aprendizagem (e, consequentemente, de “fracasso no 
aprender”) como um fenômeno que se dá no sujeito ou indivíduo 
está relacionada com um determinado momento da história da Psi- 
cologia e da História da Educação 2 . Mesmo sem sermos rigorosos na 
reconstrução histórica, ressaltemos que a educação escolar enquanto 
uma instituição concernente à vida pública e dirigida a diferentes 
classes sociais é uma invenção relativamente recente na história 
geral das sociedades, remontando ao século XIX, e ainda mais recente 
em relação à sociedade brasileira 3 . O ideal republicano de igualdade 
de oportunidades “de partida” incluiu a necessidade também da 
educação para todos como condição para a formação do cidadão. 
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As transformações culturais e, principalmente, do trabalho numa 
sociedade cada vez mais tecnicizada produziram novas exigências 
físicas, éticas e intelectuais. A pesquisadora francesa Anny Cordié, 
em Os atrasados não existem: psicanálise de crianças com fracasso escolar, 
discutiu como a invenção desse ideal republicano “fez nascer uma 
nova patologia: o fracasso escolar.” (CORDIÉ, 1996, p. 17) O sucesso 
e 0 fracasso, como salienta Cordié, são valores ligados a um ideal 
construído social e culturalmente; 0 fracasso escolar, enquanto pato- 
logia social, surgiu no século XIX exatamente com a instauração da 
escolaridade obrigatória: as crianças de todas as classes e ambientes 
não só eram obrigadas a prosseguir vários anos de escolaridade 
quanto passaram a enxergar a sua realização humana e sua felicidade 
com 0 sucesso na escola: 

Ser bem-sucedido na escola é ter a perspectiva do ter, mais 
tarde, uma bela situação, de ter acesso, portanto, ao consumo 
de bens. Significa também ‘ser alguém’, isto é, [...] ser consi- 
derado, respeitado. (CORDIÉ, 1996, p. 21) 

Um estudo realizado por Moysés Kessel em 1954 (apud PATTO, 
1999) mostrou a dramaticidade da situação do fracasso na década de 
40 no Brasil: do total de crianças que se matricularam pela primeira 
vez na primeira série do ensino fundamental, em 1945, apenas 4% 
concluíram as séries iniciais em 1948, sem reprovações; dos 96% 
restantes, metade não concluiu sequer a primeira série. Mais de 50 
anos depois, diversas pesquisas realizadas na área (GUZZO, 2001; 
MALUF, 2001; MELLO, 2004) revelaram vertentes que compreendem 0 
fracasso escolar das seguintes formas: como problema essencialmente 
psíquico; como problema meramente técnico; como questão institu- 
cional; como questão fundamentalmente política. Algumas pesquisas 
apontam continuidades e rupturas teórico-metodológicas em relação 
aos caminhos percorridos pela produção de saber na área: há teses 
em que permanece o predomínio de concepções psicologizantes e 
tecnicistas de fracasso escolar; há também teses que dialogam e avan- 
çam a pesquisa crítica do fracasso escolar, inserindo-o nas relações de 
poder existentes numa sociedade de classes. (DAZZANI, no prelo) 
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4 Em outro lugar, 
discute especificamente 
como certas 
concepções psicológicas 
influenciaram a 
compreensão do fracasso 
escolar. (DAZZANI, no 
prelo) 


No Brasil, principalmente a partir da massificação da educação 
pública e dos programas de combate ao analfabetismo nas décadas 
de 6o e 70 do século passado, o tema do fracasso escolar tornou-se 
uma das preocupações centrais de educadores e do Estado. É nesse 
contexto, quando a educação não se realiza, quando a escola não 
consegue cumprir sua tarefa, quando a aprendizagem não se dá, é 
precisamente aqui onde os conceitos de aprendizagem, avaliação e 
fracasso escolar se revestem de uma importância especial. (DAZZANI, 
no prelo) Os educadores, teóricos e políticos se veem obrigados a 
compreender os mecanismos internos da prática pedagógica, da 
instituição educacional, do processo escolar para, daí, encontrar os 
caminhos de superação 4 . A família, nessa perspectiva, seria mais 
um desses diversos elementos a serem avaliados. 

Mesmo sem um consenso acerca da conceituação, etiologia, pre- 
valência e estratégias de intervenção apropriadas, 0 aparecimento 
da ideia de “fracasso” exprimiu a convicção de educadores de que 
algumas crianças possuíam problemas de aprendizagem que não se 
enquadravam nas categorias existentes. Sem tentar apresentar uma 
definição completa, de modo geral, 0 fracasso escolar é entendido 
como um fenômeno que se caracteriza pelo baixo desempenho 
acadêmico, pela ocorrência de repetências e de evasão. Sob vários 
aspectos, esse tema foi 0 centro das preocupações pedagógicas, 0 
que incentivou a investigação de vários fatores que poderiam con- 
tribuir para tal fenômeno: esses fatores poderiam ir desde questões 
fisiológicas e psicológicas individuais às do ensino e do ambiente 
escolar e familiar. 


A PRODUÇÃO DO FRACASSO 

Estudos realizados nos últimos anos indicam diversos preditores do 
fracasso escolar tais como fatores sociodemográficos e familiares que 
fazem parte do ambiente em que a criança se desenvolve. 0 nível 
socioeconômico da família, 0 nível de instrução dos pais e a respon- 
sividade parental, por exemplo, têm sido apontados como possíveis 
variantes- determinantes do baixo desempenho acadêmico. (CAR- 
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VALHO, 2004) Alguns desses estudos concluem que determinados 
contextos escolares apresentem características que tornam 0 sujeito 
mais vulnerável à produção do fracasso. Algumas características 
individuais tais como 0 desenvolvimento cognitivo e emocional tam- 
bém são comumente investigados para a compreensão do fenômeno. 
Além disso, o fracasso escolar passa a ser analisado a partir da com- 
preensão dos fatores sociais, culturais e históricos. É praticamente 
consensual a necessidade da compreensão do fenômeno vinculada 
à compreensão das circunstâncias históricas e sociais onde essas 
engrenagens são fabricadas. (NOGUEIRA, 2004) 

O fracasso escolar é, de modo geral, um processo que resulta 
das práticas envolvidas entre os atores educacionais, e não ape- 
nas na descrição dos agentes que nela se inserem. Segundo Azanha 
(1990/1991. P- 37): 

O que interessa é descrever as “práticas escolares” e os seus 
correlatos (objetivados em mentalidades, conflitos, discursos, 
procedimentos, hábitos, atitudes, regulamentações, “resulta- 
dos escolares” etc.). Somente o acúmulo sistemático dessas 
descrições permitirá compor um quadro compreensivo da 
situação escolar, ponto de partida para um esforço de expli- 
cação e de reformulação. 


Essa formulação nos parece particularmente importante na me- 
dida em que nega uma leitura determinista com relação ao processo 
através do qual se busca responsabilização deste ou daquele sujeito 
social. Aponta, portanto, para a necessidade de entrada na comple- 
xidade do processo contínuo de práticas escolares e educacionais que 
podem revelar os significados da escola-educação e a forma pela 
qual ela se insere no movimento social mais amplo. Neste sentido, 
a família é pensada como coparticipante, inter-relacionada, inter- 
dependente de outros agentes sociais. 

Do mesmo modo, a compreensão da produção do fracasso e 
desempenho acadêmico requer necessariamente a contribuição 
interdisciplinar de campos diversos do conhecimento, de modo a 
evitar abordagens reducionistas, seja no sentido do determinismo 
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social, seja numa visão do fenômeno como de natureza exclusiva- 
mente pontual ou individual. 

Tradicionalmente, a literatura educacional aponta que os maiores 
determinantes do desempenho escolar estão fora do âmbito da escola. 
(SOARES, 2007) Ao revelarem um irrefutável determinismo sociológi- 
co, algumas pesquisas criaram um forte pessimismo pedagógico, visto 
que levaram à conclusão de que a escola pesaria pouco na explicação 
da variação do desempenho dos alunos. Essa ideia é apresentada na 
frase provocante divulgada pelo Relatório Coleman (COLEMAN, et al., 
1966) de que “[...] as escolas não fazem diferença”. Por outro lado, al- 
guns estudos longitudinais analisam a escola a partir do paradigma da 
“reprodução”. A reprodução à qual se referiu Pierre Bourdieu, segundo 
Nogueira (2004), é a reprodução das desigualdades sociais no seio da 
instituição escolar e suas consequências em termos de mobilidade 
social. De modo geral, esses trabalhos apontam, sobretudo, que 
cada sociedade define para si, através de suas opções históricas, um 
patamar possível para 0 aprendizado de seus estudantes. Entretanto, 
em torno dessa estrutura há grande variação. Em sociedades mais 
claramente desiguais, como no caso do Brasil, 0 nível esperado de 
desempenho acadêmico oscila de forma acentuada de acordo com 
0 nível socioeconômico. (NOGUEIRA 2004; SOARES, 2007) O sistema 
escolar por si só não é capaz de mudar essa determinação social, 
mas algumas escolas conseguem que seus alunos tenham um melhor 
desempenho que 0 esperado para suas condições sociais. 

Entretanto, é de fundamental importância destacarmos e anali- 
sarmos 0 sentido desse melhor desempenho. Segundo Martins (2008), 
a escola brasileira reproduz um sistema de marginalização social 
e uma dificuldade de diálogo com a diversidade cultural existente 
na sociedade. Assim, 0 que se entende por melhor desempenho é, na 
verdade, um processo de adequação dos estudantes - e das famílias 
- a uma lógica dominante de procedimentos e conteúdos que, nem 
sempre, ou melhor, muito raramente, significa de fato um processo 
de aprendizagem significativo por parte dos estudantes. 

Para muitos autores, a escola e suas práticas pedagógicas são rele- 
vantes e muitas vezes decisivas no desempenho acadêmico, embora 
não possa mudar completamente a determinação social. (NOGUEIRA, 
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2004; SOARES, 2007) Na situação atual do sistema público de ensino 
básico no Brasil, onde prevalecem baixos desempenhos, existem 
oportunidades de melhorias substanciais através de implantação 
de políticas escolares. A avaliação educacional, neste sentido, seria 
uma ferramenta importante para o planejamento, redescrição e 
intervenção futura. 


FRACASSO, EXCLUSÃO E DEMOCRATIZAÇÃO 

De acordo com alguns pesquisadores (PATTO, 1999; TANAMACHI, 
2000; DEL PRETTE, 2001; NOGUEIRA; ABREU, 2004), 0 fracasso está 
associado à exclusão social e escolar. Consideremos que exclusão social 
e escolar são compreendidas como formas de violação dos Direitos Hu- 
manos e do ideal da democracia (do mesmo modo como outras viola- 
ções dos Direitos Humanos, como 0 que ocorre no sistema prisional 
e no manicomial, por exemplo). A expressão educação inclusiva surgiu 
na luta de profissionais da área de educação especial e na reivindicação 
do ingresso de alunos excluídos, assim chamados “lentos”, “portado- 
res de deficiência” ou “com necessidades educativas especiais” nas 
escolas regulares. (PATO, 1999; PRIETTO, 2005) Outra noção é a de 
diversidade e diferença e a exigência de que a escola seja um espaço que 
acolha a pluralidade étnica, social e religiosa. Mais recentemente, as 
“políticas de ação afirmativa” também se configuram num discurso 
de inclusão. Esses elementos consolidariam a democratização da 
escola e, consequentemente, da sociedade, mesmo que muitas vezes 
seja confundido com a falsa ideia de que apenas 0 acesso à escola 
seja suficiente para garantir tal democratização. 

Devemos considerar que exclusão na nossa sociedade não é um 
fenômeno isolado, anômalo, acidental, mas, ao contrário, está direta- 
mente ligado a certas formas de organização institucional e produção 
do poder que fabricam engrenagens que causam 0 isolamento, 0 
alheamento, a estigmatização de determinados cidadãos. Ou seja, 
nem sempre a exclusão se resume ao fato de que a criança está 
“fora” do espaço físico da escola. 0 simples ingresso na escola não é 
garantia de solução do problema. (DAZZANI, no prelo) 
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5 Para uma leitura sobre 
estereótipos, ver Pereira 
(2002, 2004). 


A promessa de igualdade, de homogeneidade fez da escola, do 
mesmo modo, um espaço de exclusão. Isso se deu em consequência 
da ideia de que a escola ofereceria as mesmas condições para todos 
os alunos, sem exceção, e o sucesso ou fracasso seria uma decor- 
rência das aptidões e inteligência de cada um. Essa “falsa promessa 
de inclusão” coloca sob suspeita 0 aluno, ou seja, retira da escola a 
responsabilidade de promover a inclusão, outorgando ao aluno a 
tarefa de “incluir-se” na massa homogênea que tem competência, 
aptidão e inteligência para aprender. Um dos exemplos disso é 0 
discurso de “queixa escolar” e do “fracasso escolar”. De certo modo, 
a escola - e as outras instituições sociais - estiveram presas à crença 
e à perspectiva ideológica da natureza humana: a ideologia do dom. 
Comumente a diferença concreta de etnia, religião, classe sociais, 
mas também as diferenças individuais são ignoradas nas práticas 
cotidianas da escola. A “inclusão” pode, em muitos casos, significar 
a interdição da diferença. Por isso, muitas vezes a “demanda de 
queixa escolar” e 0 “fracasso” ignoram os processos objetivos que as 
crianças vivem na escola. Há vários exemplos. A chamada “ideologia 
do dom”, como explica Neves (2005), já foi uma das explicações do 
fracasso dos alunos: a escola teria oferecido as mesmas condições 
para todos os alunos e 0 sucesso ou fracasso seria uma decorrência 
das aptidões e inteligência de cada um. O problema é que inúmeras 
pesquisas procuraram demonstrar que 0 fracasso se concentra nas ca- 
madas socioeconomicamente desfavorecidas o que, de algum modo, 
contraria essa ideologia, pois coloca à mostra que as diferenças não 
ocorriam entre os indivíduos, mas, sim, entre grupos 5 . Esse modo 
de explicar leva a outra perspectiva, do mesmo modo, repleta de 
dificuldades, é a ideologia da deficiência cultural: 0 fracasso escolar das 
classes menos favorecidas seria explicado, nessa perspectiva, pelo 
déficit cultural do seu meio. Um outro modo de explicar 0 fracasso, 
principalmente das classes pobres, é a ideologia das diferenças culturais: 
já que a escola transmite como “certos” os valores culturais dos gru- 
pos dominantes, as crianças das classes dominadas não encontram 
na escola a valorização de seus padrões culturais. Estes caminhos 
têm levado a dificuldades teóricas e a vícios políticos. (MACHADO, 
et. al., 2005) 
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Alguns teóricos (NEVES, 2005; PRIETO, 2005) têm optado em não 
mencionar a expressão educação inclusiva, mas simplesmente demo- 
cratização da educação, defesa e promoção dos Direitos Humanos. 
Isso implica que devemos saber conceber uma escola e uma prática 
escolar que possam interpretar, acolher e responder às demandas 
de todos os cidadãos num ambiente que respeite a subjetividade, a 
diversidade cultural, étnica, religiosa, social. (DAZZANI, no prelo) 

O modelo de avaliação escolar vigente no país não apenas reprova, 
mas faz com que um número significativo de crianças em idade 
escolar e suas respectivas famílias não mantenham a motivação 
necessária para estudar, porque não reconhece na escola um espaço 
para desenvolver competências e habilidades, assimilar bem os 
conteúdos e aprender (autonomia intelectual). (NOGUEIRA; ABREU, 
2004; VIANA, 2007, VIANA; NOGUEIRA, 2008) Como apontamos 
anteriormente, em oposição a um certo determinismo sociológico que 
engendra um pessimismo pedagógico - que afirmaria que em sociedades 
desiguais “as escolas não fazem diferença” - muitos autores acre- 
ditam que ações educacionais (dentro e fora do ambiente escolar) 
podem, de fato, intervir e modificar 0 quadro de fracasso-exclusão 
escolar: projetos de intervenção nas escolas e famílias tornam-se, 
neste sentido, relevantes e podem se configurar em instrumentos 
de mudanças e possibilidades. 

Desse modo, a avaliação educacional deve ter papel fundamental 
no sentido de investigar, compreender e fomentar ações de parceria 
entre escola-família. Em outros termos, a avaliação educacional pode 
ser um dispositivo de favorecimento de diálogo e discussão sobre 
0 valor, os significados, a qualidade e os objetivos dessa parceria/ 
participação escola-família, desde que reconheça os meandros dessa 
relação. 
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Fatores associados ao 
desempenho escolar na 4 a 
série do ensino fundamental 


Rosana de Freitas Castro (UFBA) 


INTRODUÇÃO 

O Brasil ocupa um lugar de destaque entre as sociedades com mais 
altos níveis de desigualdade social no mundo e a educação pode ser 
considerada um dos principais fatores que favorecem tal situação. 
É através da educação que os indivíduos adquirem conhecimentos 
e competências, desenvolvem seu caráter, despertam para a respon- 
sabilidade social e tornam-se verdadeiros cidadãos, capazes de viver 
produtivamente e interferir na vida pública. 

Muitos investimentos têm sido feitos pelo governo federal, no 
sentido de corrigir problemas educacionais de acesso e de quali- 
dade de ensino no Brasil. De fato, nas últimas décadas houve um 
aumento substancial de matrículas em todos os níveis de ensino 
e pode-se dizer que, no nível fundamental, o problema do acesso 
foi praticamente solucionado. Já não se pode afirmar o mesmo em 
relação à qualidade do ensino oferecido, principalmente nas escolas 
públicas, que, em sua maioria, funcionam em condições precárias, e 
nas quais grande parte dos estudantes não adquire os conhecimentos 
esperados ao final dos níveis fundamental e médio. 

Com o objetivo de captar o que os alunos brasileiros sabem e 
são capazes de fazer ao final de determinadas séries, assim como a 
qualidade do ensino de uma maneira mais abrangente, o governo fe- 
deral e alguns governos estaduais implantaram sistemas de avaliação 


educacional de larga escala, que adotam os parâmetros curriculares 
nacionais como sistemas de referência para a elaboração de itens que 
compõem testes padronizados de conhecimentos específicos. Essas 
avaliações visam, primordialmente, reunir informações consistentes 
e confiáveis a respeito de um sistema educacional, não tendo função 
de aprovar, reprovar ou selecionar alunos. Vale destacar o Sistema 
Nacional de Avaliação da Educação Básica (SAEB) e a Prova Brasil, 
geridos pelo Instituto Nacional de Estudos e Pesquisas Educacionais 
(INEP), órgão vinculado ao Ministério da Educação. Além das avalia- 
ções nacionais, o Brasil vem participando do Programa Internacional 
de Avaliação de Estudantes (PISA), coordenado pela Organização 
para Cooperação e Desenvolvimento Econômico (OCDE) e realizado 
a cada três anos desde 2000. 

Os estudantes brasileiros apresentam, em média, baixos rendi- 
mentos em todas essas avaliações. Nos últimos anos, a imprensa vem 
noticiando com muito destaque os resultados do SAEB, que revelam 
um alto percentual de estudantes sem as habilidades mínimas com- 
patíveis com a série que acabaram de concluir. Por sua vez, entre os 
países participantes do PISA, 0 Brasil figura como um dos últimos 
em proficiência de leitura, ciências e matemática, muito abaixo da 
média dos países mais desenvolvidos. (OECD, 2004) 

Os indicadores apontam também grandes diferenças entre as 
regiões brasileiras: nas regiões Norte e Nordeste, as taxas de dis- 
torção idade-série, repetência e abandono, assim como o tempo 
estimado para a conclusão do Ensino Fundamental, estão bem acima 
da média nacional e das demais regiões. Em particular, 0 estado da 
Bahia, apesar de ter apresentado um grande progresso econômico 
nos últimos anos, continua sendo um dos estados da região Nor- 
deste com maior número de municípios em condições precárias de 
desenvolvimento e baixa produtividade educacional, revelada pelas 
altas taxas de abandono e reprovação. Segundo dados do INEP, em 
2005, 0 estado da Bahia teve 205 municípios classificados entre os 
1000 municípios com índice de Avaliação da Educação Básica (IDEB) 
mais baixo em todo 0 Brasil. 

A melhoria dos resultados está, sem dúvida, atrelada a uma melho- 
ria das condições de vida da população, extrapolando a esfera educa- 
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cional. A influência dos contextos socioeconômicos no aprendizado 
dos alunos é fato amplamente aceito e comprovado, portanto não 
deve ser desconsiderado nas análises dos resultados das avaliações 
educacionais. (CÉSAR; SOARES, 2001) O aprendizado é influenciado 
por características do próprio indivíduo, do ambiente e por fatores 
sociais e econômicas, tais como idade, etnia, classe social, condições 
de moradia. Por sua própria natureza, alguns desses fatores não são 
passíveis de intervenção direta das políticas educacionais, e devem 
ser corrigidos por políticas sociais mais amplas e de longo prazo. Por 
outro lado, fatores escolares que possam ser modificados através de 
políticas educacionais devem ser pesquisados com 0 objetivo de iden- 
tificar e implantar mecanismos capazes de melhorar 0 aprendizado 
e minimizar os efeitos das desigualdades socioeconômicas. 

Neste capítulo, apresentamos os principais resultados obtidos na 
tese de doutorado da autora (CASTRO, 2008), sob a orientação do Prof. 
Dr. Robert E. Verhine, na Faculdade de Educação da Universidade 
Federal da Bahia. Os dados analisados são provenientes da Avaliação 
de Desempenho realizada pela Secretaria de Educação do Estado 
da Bahia, em novembro de 2004, em escolas públicas estaduais e 
municipais. (BAHIA, 2005) Nessa avaliação, os alunos real iz aram 
testes de Matemática e Português, além de responderem a um ques- 
tionário socioeconômico com informações individuais, familiares e 
de sua trajetória escolar. Em questionários socioeducativos especí- 
ficos, diretores e professores informaram sobre gestão, condições 
de trabalho, satisfação com escola, dentre outros. A partir desses 
dados, utilizamos modelos estatísticos de regressão hierárquica para 
investigar fatores associados ao desempenho dos alunos de 4 a série 
do Ensino Fundamental. 


EFICÁCIA ESCOLAR E EQUIDADE EDUCACIONAL 

O conceito de qualidade em educação é controverso e amplo, en- 
globando aspectos relativos à eficiência, à eficácia e à equidade do 
processo educacional. De acordo com Mortimore (1991), uma escola 
eficaz é aquela onde 0 progresso do aluno vai além do que seria espe- 
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rado, levando em consideração as suas características pessoais, sua 
situação social, cultural e econômica, bem como o seu conhecimento 
prévio. Uma escola eficaz agrega mais valor ao resultado escolar 
dos alunos comparativamente ao que teriam em outras escolas 
de contexto similar, interferindo positivamente no desempenho 
acadêmico, através de políticas e práticas escolares e modificando 
favoravelmente a realidade acadêmica de alunos oriundos de contex- 
tos socioeconômicos desfavorecidos. (SOARES; TORRES; ALVES, 2002) 
De acordo com esta concepção, no presente estudo são considerados 
fatores de eficácia, as características escolares que contribuem para 
aumentar 0 desempenho dos alunos, depois de filtrados os efeitos de 
outros fatores individuais e contextuais (relacionados à composição 
social e perfil educacional dos alunos da escola). 

A equidade educacional nos remete à ideia de igualdade de con- 
dições de acesso à escola e à qualidade de ensino, no sentido de não 
existirem diferenças sistemáticas de rendimento escolar entre grupos 
de indivíduos, conforme sua condição socioeconômica, gênero, raça, 
defasagem idade-série. Para ser equânime, um processo educacional 
deve ser capaz de identificar as diferenças, respeitá-las e adaptar-se 
à realidade dos alunos. No nosso trabalho, consideramos fatores 
de equidade educacional aqueles que contribuem para diminuir os 
efeitos das características individuais e do ambiente escolar. 

Franco, Ortigão e Albernaz (2006) destacam que a equidade não 
pode ser considerada independente da eficácia. É essencial que se- 
jam identificados e corrigidos os fatores escolares que levam a uma 
equidade no sentido negativo, isto é, características da escola, do 
diretor, da gestão e dos professores que atuam no sentido de igua- 
lar os alunos em patamares de baixo desempenho. Por sua vez, os 
fatores escolares que promovem a eficácia, mas que não beneficiam 
igualmente todos os alunos, também devem ser corrigidos com a 
finalidade de que seu efeito positivo seja mais abrangente. 


DADOS 

A Avaliação de Desempenho 2004 (AD2004) foi desenvolvida especial- 
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mente para o estado da Bahia e abrangeu 2.808 escolas públicas da 
zona urbana de 304 municípios baianos, com um total de 227.836 alu- 
nos de 4 a e 8 a séries do Ensino Fundamental, incluindo pela primeira 
vez, alunos de 3 a série do Ensino Médio. Na 4 a série, 89.127 alunos re- 
gulares de escolas públicas urbanas realizaram provas de Matemática 
e Português, além de responderem ao questionário socioeconômico. 

Para obtenção dos escores finais dos alunos foi aplicada a Teoria 
de Resposta ao Item (TRI) (ANDRADE; TAVARES; VALLE, 2000) que, ao 
medir os desempenhos dos alunos, leva em conta as características 
dos itens respondidos corretamente, a saber, 0 grau de dificuldade, 
0 poder de discriminação e a probabilidade de acerto ao acaso. Na 
AD2004, os escores TRI foram padronizados para escalas centradas 
na média de cada população atribuindo-se o valor 50 para média e 
10 para um desvio padrão. A linha de proficiência (patamar ou valor 
mínimo para que 0 aluno seja considerado proficiente) equivale ao 
escore TRI igual a 57,0 em Matemática e 53,0 em Português. 

Os resultados da AD2004 geraram três grandes bancos de dados 
contendo os dados dos alunos, diretores e professores. No caso dos 
alunos, os bancos contêm os escores TRI e as informações socioe- 
conômicas, tais como sexo, idade, nível de escolaridade dos pais, 
número de repetências, de anos de abandono dos estudos e qualidade 
da vida escolar. O questionário dos professores é composto por 70 
questões que tecem um perfil dos docentes nos aspectos de formação, 
idade, experiência, além de sua visão sobre a escola, a gestão e as 
práticas pedagógicas. O questionário do diretor é composto por 97 
questões e coleta informações sobre a escola, práticas de gestão esco- 
lar, perfil do diretor, visão do diretor sobre 0 corpo docente e outros 
aspectos relacionados aos alunos, materiais didáticos, equipamentos 
e violência nas dependências das escolas, entre outras. 


MÉTODO 

Os modelos de regressão de efeitos aleatórios, em particular os mo- 
delos hierárquicos, são muito adequados para estudos quantitativos 
sobre fatores associados ao desempenho escolar, pois respeitam a 
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estrutura de dependência intra-escolar dos dados educacionais. Os 
modelos de regressão de alguma forma simulam experimentos 
controlados, isto é, permitem estimar o efeito de fatores escola- 
res para explicar os desempenhos, descontadas as contribuições 
dos outros fatores individuais ou contextuais incluídos no modelo 
como variáveis de controle. (SOARES; ALVES, 2003; SOARES, CÉSAR; 
MANBRINI, 2001) 

Neste trabalho, tomamos como variável resposta a ser modelada 
o desempenho dos alunos nos testes padronizados e ajustamos 
modelos hierárquicos em três níveis, sendo alunos 0 primeiro nível, 
escolas 0 segundo e municípios 0 terceiro. A partir dos questionários 
contextuais, com base em análises estatísticas, selecionamos um 
conjunto de variáveis e fatores escolares que foram testados como 
variáveis explicativas do desempenho. 


FATORES INDIVIDUAIS E CONTEXTUAIS 

Os estudos realizados com dados brasileiros confirmam as influências 
de características individuais e socioeconômicas dos alunos sobre 0 
desempenho acadêmico. Fatores individuais dos alunos, tais como 
0 sexo, nível socioeconômico, estrutura familiar e defasagem idade- 
série são indicados quase que unanimemente como influentes no 
desempenho. Podemos citar, por exemplo, Soares, César e Manbrini 
(2001), Albernaz, Ferreira e Franco (2002) Soares (2007), que tratam 
de eficácia e equidade na educação básica brasileira usando dados 
do SAEB. Os estudos revisados que analisam a influência de gênero 
mostram que o sexo feminino tende a beneficiar os desempenhos em 
Português, enquanto que o sexo masculino é favorável aos desempe- 
nhos em Matemática. O nível socioeconômico dos alunos, em geral, 
mostra-se positivamente associado aos desempenhos, indicando 
vantagens para os alunos que estão em melhores condições socioeco- 
nômicas. Além disso, os resultados obtidos por César e Soares (2001), 
com dados de desempenho dos alunos de 8 a série de Matemática do 
SAEB-99, indicam que a heterogeneidade do nível socioeconômico é 
um fator negativamente associado aos desempenhos dos alunos. 
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Neste estudo, para obter um indicador do nível socioeconômico, 
agregamos as informações sobre a posse de alguns itens de casa e o 
maior grau de instrução entre o pai e a mãe. Construímos um índice 
de nível socioeconômico (NSE) que reflete, aproximadamente, as con- 
dições financeiras e culturais das famílias dos alunos. A correlação 
do NSE médio dos alunos de cada município com o IDH municipal 
é da ordem de 0,53, valor que nos pareceu bastante razoável, em se 
tratando de um índice bastante simples. Em Castro (2008), apresen- 
tamos mais detalhes sobre a composição desse índice, baseado em 
uma adaptação do Critério Brasil utilizado pela Associação Brasileira 
de Empresas de Pesquisa (ABEP). Seus valores variam entre o a 20 e, 
para os alunos da 4 a série, 0 valor médio foi 11,14 com desvio padrão 
de 3,74 (CV = 33,6%). 

As pesquisas educacionais, de maneira geral, apontam os efeitos 
negativos do abandono, da repetência, sendo que as perdas tendem 
a se acentuar a cada ano perdido. (BARBOSA; FERNANDES, 2001; 
ALBERNAZ, 2002; ALBERNAZ, FERREIRA; FRANCO, 2002) Ferrão, 
Beltrão e Santos (2002) mostram que esses eventos que estão rela- 
cionados à condições socioeconômicas mais baixas e a proficiência 
dos alunos com defasagem idade-série é inferior comparativamente 
à dos alunos em idade adequada. Destacam ainda que em algumas 
escolas os alunos defasados são mais penalizados em seu desem- 
penho do que em outras. Segundo dados do INEP, mais de 50% 
dos estudantes do Ensino Fundamental na Bahia em 2004 tinham 
idade acima do que deveriam ter para suas respectivas séries. As 
expectativas em torno dos alunos defasados, em geral, são muito 
baixas, e muitas vezes os fatores promotores de eficácia escolar não 
chegam a alcançá-los e com isso acabam acentuando as desigualda- 
des. (FRANCO; ORTIGÃO; ALBERNAZ, 2006) 

A estrutura familiar, dada pela a presença dos pais, de irmãos 
ou outros parentes, é outro fator que afeta os desempenhos e tem 
relação direta com capital social que pode ser entendido como um 
conjunto de recursos atuais ou potenciais que estão ligados à posse 
de uma rede durável de relações. O volume de capital social que 
um agente possui depende da extensão dessa rede e do volume do 
capital (econômico, cultural ou simbólico) de cada um daqueles 
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a quem está ligado. (BOURDIEU, 1998) Nos gráficos 1 e 2 a seguir, 
verifica-se 0 desempenho diferencial dos alunos que mencionam 
a presença de outras pessoas (irmãos, outros parentes ou pessoas 
de outra família), além dos pais, em sua residência. A presença de 
outras pessoas na residência do aluno, ainda que não haja uma 
quantificação ou qualificação das pessoas mencionadas, pode estar 
refletindo uma rede de apoio às atividades escolares, levando a 
melhores desempenhos. (TEACHMAN; PAASCH; CARVER, 1997) 



Gráfico 1: Matemática: Escores TRI, segundo a 
estrutura familiar e a presença de outras pessoas 
na residência do aluno na residência do aluno 



Gráfico 2: Português: Escores TRI, segundo a 
estrutura familiar e a presença de outras pessoas 
na residência do aluno na residência do aluno 


O ambiente escolar, a composição social do corpo discente, a 
prevalência na escola de alunos repetentes ou em defasagem idade- 
série são fatores contextuais que podem favorecer ou prejudicar 0 
desempenho escolar. Willms e Somers (2001) argumentam que os 
alunos que estudam em escolas ou salas de aula de contexto mais 
favorável ao aprendizado são beneficiados em seus desempenhos 
escolares (“efeito dos pares”). Segundo Willms e Somers (2001), me- 
didas agregadas por escola, tais como nível socioeconômico médio 
ou atraso médio dos alunos da escola, podem compor variáveis que 
em estudos quantitativos irão caracterizar contextos escolares que 
influenciam os desempenhos e também devem ser controlados antes 
de testar os fatores escolares. 
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CONSTRUÇÃO DO MODELO 
HIERÁRQUICO CONTEXTUAL 


Pela exposto na seção anterior, vemos a importância de construir 
um modelo contextuai, apenas com variáveis de controle, para 
posteriormente incluirmos os fatores escolares (tratamentos) pro- 
priamente ditos. Nesta seção, apresentamos as etapas e os resultados 
da construção do modelo contextuai. 

Nos modelos ajustados aos desempenhos em Matemática foram 
utilizados dados de 46.262 alunos, 1.320 escolas em 279 municí- 
pios. Para os modelos de Português, tivemos disponíveis dados de 
45.434 alunos, 1.599 escolas e 279 municípios. Os Quadro 1 e 2, no 
Apêndice, especificam com mais detalhes as variáveis utilizadas 
nos modelos contextuais. As estimativas e as estatísticas obtidas 
para os parâmetros dos modelos ajustados para as duas disciplinas 
estão apresentados nos Quadros 437 para Matemática e Português 
no Apêndice. 

Inicialmente, ajustamos aos dados 0 modelo sem variáveis expli- 
cativas, denominado de Modelo Nulo. Os resultados mostram que a 
estimativa do desempenho médio global é 50,81 em Matemática e 
50,46 em Português. A partição da variabilidade dos desempenhos 
devido a cada um dos níveis da hierarquia é dada por: nível 1 (alunos) 
- 84,0% em Matemática e 90,2% em Português, nível 2 (escolas) - 12,0% 
em Matemática e 7,2% em Português e nível 3 (municípios) - 4,0% em 
Matemática e 2,6% em Português. Essa partição mostra que a maior 
parte da variabilidade dos desempenhos é devida às características 
individuais dos alunos e apenas uma pequena parcela da varia- 
bilidade dos desempenhos pode ser atribuída às diferenças entre 
escolas e municípios. Comparando-se com outros estudos similares, 
a variação entre escolas no nosso estudo é pequena, e isto se deve, 
principalmente, ao fato de estarmos trabalhando apenas com escolas 
públicas no estado da Bahia com carências muito disseminadas pelo 
interior do estado. (ALBERNAZ, FERREIRA; FRANCO, 2002; CÉSAR; 
SOARES, 2001; FERRÃO, 2003; FERRÃO, BELTRÃO, SANTOS, 2002) 

A partir do modelo nulo, fizemos as inclusões das variáveis de 
controle por etapas, analisando os modelos intermediários. Primei- 
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ramente, incluímos as variáveis de controle individuais dos alunos 
(Modelo i), em seguida introduzimos as variáveis de controle das 
escolas (Modelo 2) e municípios (Modelo 3). O Quadro 1, no Apêndice, 
especifica com mais detalhes as variáveis utilizadas nos modelos 
contextuais. 

MODELO i: FATORES INDIVIDUAIS DOS ALUNOS 

Na modelagem do primeiro nível (alunos), utilizamos como variáveis 
explicativas (de controle) 0 sexo do aluno, seu nível socioeconômico, 
sua estrutura familiar e 0 número de repetências e o número de 
anos que abandonou a escola. 

Considerando a centralização das variáveis na média da escola e a 
codificação das variáveis indicadoras, 0 intercepto no Modelo 1 deve 
ser interpretado como 0 escore médio dos alunos do sexo masculino, 
com NSE igual à média de sua escola, morando com pai e mãe, que 
não mencionam outras pessoas na residência, nunca deixaram de 
frequentar a escola e nunca repetiram uma série. Esse valor será 
referido no restante do texto como a média dos alunos referência, 
a saber, 50,67 para Matemática e 48,96 para Português. 

Os efeitos fixos de todas as variáveis do aluno foram estatis- 
ticamente significantes (p<o,ooi) e levaram a uma redução esta- 
tisticamente significativa da áeviance em relação ao modelo nulo 
(Quadros 5 e 7). A inclusão dessas variáveis reduziu em torno de 12% 
a variabilidade entre os alunos nas duas disciplinas. 

Verificamos que a repetência e a estrutura familiar, nessa ordem, 
são as variáveis que têm maior impacto na redução da deviance (em 
relação ao modelo nulo), ou seja, são as variáveis que mais explicam 
os resultados, dentre as variáveis incluídas no Modelo 1. 

MODELOS 2 E 3 : CONTEXTOS ESCOLARES E MUNICIPAIS 

No Modelo 2, incluímos as variáveis de controle das escolas (nível 2). 
Para a composição social da escola e perfil educacional dos alunos, 
utilizamos o valor médio do nível socioeconômico dos alunos da 
escola e seu desvio padrão, a proporção de alunos na escola que 
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expressa dificuldade para realizar as tarefas de casa (proxy da aptidão 
do corpo discente), o número médio de repetências e o número 
médio de anos que os alunos da escola abandonaram os estudos. A 
inclusão dessas variáveis reduz em 31% a variância entre escolas em 
relação ao Modelo 1. 

Pelos testes estatísticos, não obtivemos evidência de que o efeito 
do nível socioeconômico do aluno sobre o desempenho variasse 
entre as escolas. Portanto, o coeficiente dessa variável foi consi- 
derado fixo e não foi modelado no segundo nível. Por sua vez, os 
efeitos aleatórios, associados ao intercepto (média da escola) e aos 
coeficientes das variáveis, número de repetências e tempo de aban- 
dono são estatisticamente significantes e estimados com razoável 
confiabilidade. (CASTRO, 2008) 

No Modelo 3, incluímos, como variável explicativa, 0 IDH muni- 
cipal (nível 3) visando controlar as condições de vida da população 
do local onde a escola está inserida. Esse índice agrega informações 
de educação, longevidade e renda da população. A inclusão dessa 
variável reduz em apenas 3% a variação entre os municípios em rela- 
ção ao Modelo 2, entretanto consideramos sua inclusão importante 
para melhor caracterizar as condições de vida dos alunos. 

Finalmente, elaboramos os denominados modelos básicos, um para 
cada disciplina, eliminando os parâmetros (efeitos) não significativos 
nos modelos intermediários. Na interpretação dos resultados dos mo- 
delos básicos, devemos lembrar que todas as comparações são agora 
controladas, isto é, ao avaliar 0 efeito de uma variável no desempenho 
devemos lembrar que estamos comparando grupos de alunos que são 
semelhantes nas demais variáveis consideradas no modelo. 


RESULTADOS 

O escore TRI médio dos alunos de referência tem uma estimativa 
pontual de 50,5 pontos em Matemática e 48,7 em Português. Nos 
dois casos esses são valores bastante baixos, considerando que esses 
alunos têm várias características individuais favoráveis ao bom 
desempenho escolar. 
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Gênero - Os modelos indicam que, em Matemática* há uma di- 
ferença de desempenho desfavorável às meninas, com uma perda 
média de 1,2 ponto no escore TRI, em relação aos meninos. Em Portu- 
guês, a tendência se inverte e as meninas apresentam, em média, um 
ganho de 1,6 ponto em relação aos meninos. Esse resultado explica, 
em parte, porque a média de desempenho dos alunos de referência, 
que são do sexo masculino, está abaixo da média geral. 

Nível socioeconômico do aluno - O NSE do aluno tem impacto positivo 
nos desempenhos, ou seja, os alunos com melhores condições so- 
cioeconômicas tendem a obter maiores desempenhos. O coeficiente 
dessa variável indica que 0 aumento de uma unidade no NSE em 
relação à média da escola, acarreta um acréscimo médio de 0,17 
ponto no escore TRI do aluno em Matemática e 0,11 em Português. 

Estrutura familiar -Há uma perda de desempenho para os estudan- 
tes que vivem em famílias monoparentais. Os que moram apenas 
com a mãe perdem em média em torno de 1 ponto no escore TRI 
nas duas disciplinas, quando comparados com alunos que moram 
com 0 pai e a mãe. As perdas são mais acentuadas nas situações em 
que 0 estudante mora só com 0 pai (-2,2 pontos em Matemática e 
-2,5 em Português) ou sem pai e mãe (-2,9 pontos em Matemática 
e -2,7 pontos em Português). Quanto à presença de outras pessoas 
na residência, os alunos que mencionam ter irmãos, parentes ou 
pessoas de outra família morando na mesma casa, têm um ganho 
de 2,54 pontos em Matemática e 2,34 em Português, comparando-os 
aos que não mencionam outras pessoas. 

Trajetória escolar - O abandono e a repetência têm impactos nega- 
tivos no desempenho. Em valores aproximados, nas duas disciplinas 
há uma perda média em torno de 1,0 ponto no escore TRI para cada 
ano que o aluno deixou de estudar deixou de estudar e de 2,0 pontos 
para cada ano que repetiu. A repetência atinge um número bem 
maior de alunos do que 0 abandono, e seu efeito negativo mostra- 
se mais contundente. Os dois eventos são prejudiciais e levam à 
defasagem idade-série que, por si só, tem também suas implicações 
negativas. (BARBOSA; FERNANDES, 2001) Além do efeito negativo do 
abandono e da repetência, 0 modelo também indica que 0 impacto 
desses eventos no desempenho dos alunos varia entre as escolas. 
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Dificuldade nos deveres de casa - 0 aumento da proporção de alunos 
que expressam dificuldade nos deveres de casa está associado a uma 
queda no desempenho médio da escola. Estima-se que, em casos mais 
extremos, as escolas que têm 20% a mais de alunos com dificuldade 
do que a média do município perdem cerca de 1,4 ponto em seu 
desempenho médio em Matemática e 1,0 ponto em seu desempenho 
médio em Português. 

Nível socioeconômico médio da escola - O NSE médio é positivamente 
associado ao desempenho médio e tem também influência no impac- 
to da repetência nos desempenhos em Matemática. No Gráfico 3, a 
seguir, a inclinação das retas ajustadas (escores estimados) torna-se 
menos acentuada com 0 aumento do número de episódios de repe- 
tência (NREPET). Isto significa que em escolas cujas clientelas são 
mais favorecidas (maior NSE médio) as diferenças de desempenho 
de alunos repetentes e não repetentes tornam-se mais acentuadas. 



NSE médio das escolas 


Gráfico 3: Escore TRI estimado em Matemática, segundo o NSE médio da escola e o 
número de repetências do aluno 


Números médios de repetências e abandono - Como já era esperado, 0 
número médio de repetências dos alunos tem impacto negativo no 
desempenho médio da escola. Para cada ano a mais na repetência 
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média, as escolas perdem em torno de 3 pontos no desempenho 
médio em Matemática e 2,5 pontos em Português. Quanto à influ- 
ência desses contextos escolares nos impactos da repetência e do 
abandono, verifica-se que, mantidas constantes as demais condições, 
nas escolas com maior repetência média há menos desigualdade de 
desempenho entre repetentes e não repetentes. O gráfico a seguir, 
para os desempenhos em Português ilustra essa interpretação. 



Número médio de repetências 

Gráfico 4: Escore TRI estimado em Matemática, segundo a repetência média da 
escola e o número de repetências do aluno 


Nas escolas com repetência média mais alta, a equidade entre os 
alunos está sendo atingida de forma que todos os alunos repetentes 
e não repetentes convirjam para um patamar de baixo desempe- 
nho. É um exemplo bem claro da equidade no sentido contrário 
da eficácia. 

Este gráfico deve ser interpretado com cautela. Não se deve con- 
cluir, por exemplo, que para um aluno com um histórico de muitas 
repetências, seja melhor estudar em escolas com alta média de repe- 
tência, pois como já vimos anteriormente, essa característica afeta 
negativamente 0 desempenho dos alunos e em geral está associada 
a outros contextos desfavoráveis. O modelo está apenas indicando 
que se compararmos escolas semelhantes em todas as outras ca- 
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racterísticas contextuais, o aluno que já repetiu muitas vezes pode 
ter algum benefício para o seu desempenho ao estudar em escolas 
onde há mais colegas que tiveram experiências de repetência mais 
parecidas com a dele. De maneira similar, nas escolas com abandono 
médio mais alto, o modelo indica que há mais equidade entre alunos 
que já abandonaram e alunos que nunca abandonaram. Novamente 
se verifica a equidade em baixos desempenhos. 


QUALIDADE DA VIDA ESCOLAR (MODELO 5) 

Dentre os construtos associados à eficácia escolar, propostos por 
Willms (1992), consta a qualidade da vida escolar do aluno, descrita 
como a sensação de bem-estar geral dos alunos, qualidade do relacio- 
namento aluno-aluno e aluno-professor, comportamento acadêmico 
e planos de vida. O modelo 5 acrescenta ao modelo básico quatro 
variáveis que mantiveram associação significativa com os desem- 
penhos: amigos em sala, respeito e atenção do professor, planos de 
curso superior e dificuldade nos deveres de casa. 

A inclusão destas variáveis levou a uma redução dos impactos 
negativos de algumas variáveis (e.g. morar só com pai) e uma redu- 
ção no coeficiente de NSE do aluno. Esse resultado indica que a boa 
qualidade da vida escolar pode amenizar alguns efeitos negativos 
de algumas variáveis e favorecer a equidade entre os alunos. 

Pelo Modelo 5, estima-se que os alunos que dizem ter planos de 
fazer um curso superior têm um ganho médio de 2,5 pontos em 
Matemática e de 2,9 pontos em Português. Dos atributos positivos, 
ter planos de curso superior é o que tem maior impacto na redução 
da deviance do modelo básico. Vemos que medidas bastante simples 
conseguem captar a importância da qualidade da vida escolar no 
desempenho dos alunos. Para ilustrar esta seção, mostramos o 
gráfico que apresenta os escores estimados pelo modelo segundo 0 
NSE do aluno, sexo e planos de curso superior. É interessante notar 
que as meninas com planos de fazer curso superior têm, em média, 
desempenhos mais altos em Matemática do que os meninos que 
não têm os mesmos planos. Esse resultado indica que mudanças de 
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atitude podem ser fundamentais para melhorar os desempenhos e 
superar as desigualdades. 



Gráfico 5: Escore TRI em Matemática, segundo o NSE do aluno, sexo e planos de 
curso superior 


Como esperado e previsto pelas análises descritivas, mesmo de- 
pois de descontados os efeitos individuais e contextuais, os alunos 
que expressam dificuldade para fazer os deveres de casa têm uma 
perda nos seus desempenhos (-2,5 em Matemática e -2,3 em Portu- 
guês). Ao ser testada isoladamente no modelo básico de Matemática, 
essa foi a variável que teve 0 maior impacto na redução da deviance. 
A inclusão dessa variável provoca uma redução no impacto da va- 
riável contextuai “proporção de alunos com dificuldade na escola”, 
indicando que parte do efeito atribuído ao contexto, na verdade se 
deve à dificuldade do próprio aluno. 


IMPACTO DOS FATORES ESCOLARES 

A partir do modelo básico contextuai, testamos 0 impacto dos fatores 
escolares, relacionados às escolas, aos diretores e professores. Diante 
de um grande número de fatores a serem testados e a alta correlação 
entre alguns fatores escolares, adotamos a estratégia sugerida por 
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Soares (2004), qual seja, incluir um a um cada fator escolar isola- 
damente no modelo básico. Em cada modelo parcial, analisamos 0 
sentido e a associação do fator incluído (significância estatística), 
sem a preocupação de avaliar a magnitude do efeito, uma vez que 
outros fatores escolares relevantes não estão sendo considerados 


simultaneamente modelo. No Quadro 3, no Apêndice, apresentamos 
as equações do modelo básico para Matemática incluindo um fator 
escolar genérico. 

A seguir, analisamos os fatores dos diretores, escolas e professores 
que apresentam associação estatisticamente significativa (p<o,os) 
com os desempenhos médios em Matemática e Português e que 
levam a uma redução estatisticamente significativa (p<o,os) na 
áeviance em relação ao modelo básico. Muitos desses fatores são 
escalas obtidas através da análise fatorial de blocos de itens dos 


questionários contextuais. (CASTRO, 2008) Na exposição dos resulta- 
dos, destacamos apenas 0 sentido dos efeitos dos fatores e seguimos 
a ordem dos fatores dada pela magnitude da redução da áeviance 
ocasionada pela inclusão do fator no modelo básico. 1 

Apesar das estatísticas descritivas apontarem sistematicamente 
uma desvantagem da rede municipal, através da modelagem hie- 
rárquica pudemos ver que, após 0 controle dos fatores contextuais, 
a diferença entre as duas redes não é estatisticamente significativa. 
Esse resultado revela que a média de desempenho mais baixa da 
rede municipal pode ser explicada, em grande parte, pelo fato dessa 
rede abarcar, em termos absolutos e relativos, um maior número de 
alunos em situação de desvantagem socioeconômica e com maior 
defasagem idade-série. 

Fatores associados - Diretores 

O fator denominado ênfase acadêmica da escola, baseado na per- 
cepção do diretor, tem uma associação positiva significativa com 
desempenho médio dos alunos nas duas disciplinas. Esta escala 
traduz 0 foco da gestão na aprendizagem do aluno através da satis- 
fação do diretor com a assiduidade e estabilidade dos professores, a 
compreensão dos professores com respeito aos objetivos curriculares, 
0 grau de sucesso na implementação do currículo, a assiduidade e 0 


1 Para avaliar a 
contribuição de um 
determinado fator para 
explicar os resultados 
dos alunos, calculamos a 
diferença entre a deviance 
do modelo básico e a do 
modelo com o fator. Uma 
redução estatisticamente 
significante na deviance 
indica que o modelo 
com o fator se ajusta 
melhor aos dados do 
que o modelo básico. 
Estabelecemos, como 
critério para ordenar a 
importância dos fatores, 
o valor da redução da 
deviance, ocasionada pela 
inclusão do fator, e sua 
significância estatística. 
(TEACHMAN; PAASCH; 
CAVER, 1997; FERRÃO, 
2003) 
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nível de aprendizagem dos alunos. Este fator é também significativo, 
no sentido de reduzir o impacto negativo do abandono temporário 
da escola (Matemática). Vale ressaltar que esta foi a variável dos 
diretores com maior poder de explicação dos resultados nas duas 
disciplinas (maior impacto na redução da deviance do modelo bási- 
co). O fator recursos audiovisuais (aparelhos de vídeo e som) tem 
associação positiva com a média de desempenho em Matemática. 
Paradoxalmente, há uma indicação de que este fator está associado 
a maiores desigualdades nos desempenhos (p=o,09) dos alunos que 
já abandonaram temporariamente. O modelo está sinalizando que 
esses alunos podem não estar sendo igualmente beneficiados por 
esses recursos. 

Em Matemática, contribuem para melhorar os desempenhos a 
experiência do diretor (p=o,042), maior número de medidas para 
diminuir as faltas dos alunos (p=o,o64) e oportunidades de reforço 
e recuperação (p=o,074) para os alunos com dificuldade de aprendiza- 
gem favorecem o desempenho dos seus alunos. O reforço tem impacto 
também para reduzir as desigualdades dos desempenhos dos alunos 
que já abandonaram a escola (p=o,037), no entanto tem impacto 
marginalmente significativo na redução da deviance (p=o,o83). 

O fator faltas e interrupções tem forte impacto negativo em 
Matemática (p=o,ooi) e grande impacto na explicação dos resultados 
(p=o,ooi). Esta escala agrega variáveis relacionadas a faltas às aulas 
por parte de alunos, professores, intermpções das atividades, proble- 
mas disciplinares e troca frequente de professores. Verificamos que 
as faltas de professores e os problemas disciplinares são as variáveis 
que mais pesam no impacto negativo desse fator. A violência dentro 
da escola, na forma de furtos e depredações frequentes, tem forte 
impacto negativo no desempenho dos alunos nas duas disciplinas 
e grande contribuição para explicar os resultados (p<o,os). 

A formação dos diretores (escolaridade e pós-graduação), depois 
de controlados os fatores contextuais, tem um coeficiente negativo 
média dos desempenhos em Matemática (p=o,oi3). Observa-se tam- 
bém que a formação mais alta está associada a maiores desigualdades 
(p=o,o67), penalizando alunos que já abandonaram os estudos algu- 
ma vez. Esses achados merecem uma investigação mais aprofundada. 
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A menção do diretor sobre a existência de problemas relativos a 
número insuficiente de professores está associado a perdas nos 
desempenhos médios das escolas nas duas disciplinas (p<o,05) e tem 
contribuição significativa na explicação dos resultados (p<o,os). 

Quanto à equidade, os modelos indicam que a escassez de equi- 
pamentos, de computadores para professores e alunos, de copia- 
dora e impressora, de material de consumo e material didático 
contribuem para a equidade no sentido negativo, isto é, não aliada à 
eficácia. Por outro lado, a existência de uma biblioteca, maior con- 
centração de recursos audiovisuais e melhores instalações físicas 
da escola são fatores potencialmente positivos para o desempenho, 
porém estão associados a maiores desigualdades dos alunos repeten- 
tes. Esses resultados merecem uma investigação mais aprofundada. 

Algumas características da escola aliam o impacto positivo e o 
aumento da equidade beneficiando todos os alunos, sejam eles de- 
fasados ou não. Exercem esse efeito a ênfase acadêmica da escola, 
o reforço para alunos com dificuldades e o recebimento de livros 
didáticos em tempo hábil. 

Fatores associados - Professores 

A maior parte dos fatores escolares que tiveram efeitos significativos 
são ligados aos professores. As variáveis captadas nos questioná- 
rios dos professores foram agregadas por escola, e representam as 
características e opiniões dos professores de 4 a série e não dos os 
professores da escola como um todo. 

A variável clima com os alunos tem associação positiva alta- 
mente significativa com os desempenhos (p=o,ooo). Esse foi 0 fator 
escolar (entre os fatores de diretores, escolas e professores) de maior 
impacto para a explicação do desempenho dos alunos nas duas dis- 
ciplinas. Essa variável representa a avaliação dos professores sobre 
os seguintes aspectos dos alunos: gostar de frequentar a escola; 
tratar bem os professores; interesse em ter bom desempenho; serem 
cuidadosos com o espaço e os equipamentos da escola; respeitar e 
valorizar as pessoas que trabalham na escola. Outro aspecto que 
diz respeito aos alunos e teve forte associação positiva com os de- 
sempenhos nas duas disciplinas, foi 0 clima disciplinar da escola 
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(regras claras de conduta escolar, apoio aos professores, regras de 
convivência conhecidas por toda a comunidade e controle para que 
os problemas disciplinares não afetem a prática didática). As escolas 
que foram mais bem avaliadas pelos professores estão associadas a 
maiores desempenhos. 

Professores com carga horária de 40 horas, com maior ex- 
periência, melhores salários e renda familiar estão associados a 
melhores desempenhos, principalmente em Matemática. Deve-se 
observar que, a renda familiar é um indicador do nível socioeconô- 
mico do professor e não um fator escolar, propriamente dito. 

Beneficiam os desempenhos dos seus alunos os professores que 
se sentem mais prestigiados e valorizados pela direção e coorde- 
nação, com participação ativa na definição e implementação dos 
objetivos da escola e professores mais satisfeitos, que sentem 
vocação para o ensino e mesmo diante das adversidades se sentem 
gratificados pelo trabalho que realizam. 

Quanto aos aspectos relacionados à gestão e ao ambiente esco- 
lar na avaliação dos professores, são positivamente associados aos 
desempenhos os seguintes fatores: segurança dos professores na 
escola; boas condições do espaço didático, a existência de projeto 
pedagógico, claramente definido, elaborado com a participação 
dos professores; bom clima com os funcionários satisfeitos e tra- 
tados com respeito; gestão acadêmica participativa e focalizada 
na aprendizagem; interação entre os professores com troca de 
ideias sobre maneiras de ensinar, material didático e avaliação; bom 
clima entre professores, satisfeitos e conscientes dos objetivos cur- 
riculares da escola; a utilização de recursos didáticos tradicionais 
(livros, jornais e fitas de vídeo) para os desempenho em Português; 
quantidade suficiente de professores, funcionários, coordena- 
dores pedagógicos, direção com disponibilidade de tempo para as 
questões pedagógicas; maior envolvimento dos pais (na avaliação 
dos docentes) nas atividades escolares. 

Apenas duas características associadas aos professores tiveram 
efeitos negativos significativos em Matemática: a insatisfação do 
professor com o modo de trabalho na escola (rotinas burocráticas 
que interferem na prática didática) e o número de escolas em que 
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trabalha - maior número de escolas se mostrou negativamente 
associado ao desempenho dos alunos. 

Quanto ao impacto na equidade, o bom clima com alunos, pro- 
fessores com carga horária de 40 horas ou mais na escola e a 
interação entre professores são características positivas que benefi- 
ciam os alunos como um todo (maior equidade). Entretanto, algumas 
características positivamente associadas à média de desempenho 
estão associadas a maiores desigualdades dos alunos repetentes. São 
elas: o comprometimento e vocação profissional, a utilização de 
recursos didáticos mais avançados e 0 envolvimento dos pais. 
A insatisfação profissional do professor está associada a maiores 
desigualdades dos repetentes, ou seja, as atitudes dos professores 
mais insatisfeitos tendem a penalizar mais os alunos repetentes. 

Em Castro (2008) podem ser encontradas tabelas com as estimativas 
do efeito de cada fator escolar que apresentou significância estatística 
quando incluído no modelo básico, assim como as estatísticas (devian- 
ce) do modelo com 0 fator e os resultados dos testes estatísticos. 


2 Para detalhes sobre os 
valores das estimativas 
e significância dos 
parâmetros estimados 
nos modelos finais, ver 
Castro (2008). 


MODELOS FINAIS 

Vemos, então, que os desempenhos dos alunos dependem de uma 
conjunção de fatores que interagem na produção dos resultados e 
das desigualdades. Em geral, não é possível modificar um fator es- 
colar sem afetar outros fatores que atuam conjuntamente. Na seção 
anterior, analisamos variáveis que mostraram efeitos significativos 
quando incluídas isoladamente no modelo básico. Muitas delas, 
porém, perderam a significância quando inseridas conjuntamente 
no mesmo modelo com outras variáveis de impacto significativo. 
Diante disso, elaboramos modelos mais complexos para Português 
e Matemática, incluindo, simultaneamente, as variáveis que apre- 
sentaram maiores impactos na explicação dos resultados (redução 
da áeviance em relação ao modelo básico) e que mantiveram sua 
significância estatística mesmo na presença de outras variáveis 
significativas 2 . Apresentamos, a seguir, um sumário dos resultados 
obtidos nos modelos finais das duas disciplinas. 
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Fatores escolares associados à eficácia do ensino 

• 0 bom “clima com os alunos”, informado pelos professores. 

• A “ênfase acadêmica da escola”, fator baseado em informações 
do diretor. 

• Professores com carga horária de 40 horas. 

• Salário dos professores. 

• Medidas para diminuir as faltas dos alunos (Matemática, 
p=o,09o). 

• Instalações físicas da escola. 

• Utilização de recursos didáticos usuais (jornais e revistas in- 
formativas, fitas de vídeo e livros de consulta além de livros 
texto) (Português, p=o,09i). 

Fatores escolares associados à ineficácia do ensino 

• Faltas por parte dos professores. 

• Furtos e depredações nas dependências da escola. 

• Número insuficiente de professores. 

Fatores escolares associados à equidade educacional 

- Equidade em bons desempenhos 

• Ênfase acadêmica da escola. 

• Aulas de reforço e recuperação. 

• Professores com carga horária de 40 horas. 

• Recebimento dos livros didáticos em tempo hábil. 

- Equidade em baixos desempenhos 

• Escassez de equipamentos. 

• Escassez de material didático. 

- Associados a maiores desigualdades 

• Satisfação e sentimento de vocação dos professores. 

• Existência de biblioteca na escola. 

• Reunião e envolvimento dos pais nas atividades escolares. 

• Insatisfação do diretor com seu trabalho. 
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CONCLUSÃO 


Este estudo mostrou que, mesmo diante do quadro de baixos desem- 
penhos das escolas públicas baianas, é possível identificar fatores 
associados a pequenas melhorias, mas que, se reunidos em uma 
mesma escola, levarão a grandes diferenças. Vimos que algumas ca- 
racterísticas escolares podem ajudar os alunos defasados a caminhar 
no sentido de superar suas desvantagens educacionais, enquanto 
que outras possuem características que estão associadas a maiores 
desigualdades. De maneira geral, ao contrário do que era esperado, 
as desigualdades tendem a ser mais acentuadas nos contextos mais 
favoráveis, isto é, em escolas de maior nível socioeconômico médio, 
com instalações físicas mais adequadas, com disponibilidade de re- 
cursos didáticos avançados (computador, internet, etc) e professores 
mais comprometidos. Os alunos defasados não conseguem desfrutar 
igualmente dos benefícios e melhorias da escola. 

Duas hipóteses levantadas por Soares e Alves (2003) nos parecem 
adequadas também para 0 contexto das escolas públicas baianas: a 
primeira hipótese considera que as diferenças entre os alunos podem 
ser acentuadas por práticas e políticas escolares, a segunda hipótese 
considera que as pequenas diferenças pessoais podem ser poten- 
cializadas em contextos favoráveis, isto é, os alunos inicialmente 
em desvantagem não conseguem tirar tanto proveito das melhores 
condições escolares quanto aqueles inicialmente mais favorecidos. 
(SOARES; ALVES, 2003) 

Os dados da AD2004 nos permitem enxergar com bastante clareza 
os desafios que devem ser enfrentados pelo ensino público na Bahia, 
visando melhorar sua qualidade. Os alunos que carregam 0 fardo 
da repetência, do atraso escolar, da dificuldade de aprendizagem e, 
consequentemente, da baixa autoestima precisam ser considerados 
como um dos alvos principais nesse processo de melhoria. Esses 
alunos não são poucos na escola pública baiana. Nos dados da AD 
2004 - 4 a série, 61% dos alunos já haviam passado por pelo menos 
uma experiência de repetência ou abandono. No atual cenário, mui- 
tos deles abandonarão os estudos definitivamente, ao perceberem 
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que nunca lograrão êxito em um sistema escolar que não reconhece 
suas dificuldades. 

As escolas baianas devem considerar um investimento forte no 
desenvolvimento de metodologias, material didático e professores 
experientes que possam se dedicar ao atendimento dos alunos que 
se encontram em situação de risco educacional. Ao melhorar o de- 
sempenho desse grupo de alunos, o clima escolar tende a melhorar, 
beneficiando todos os alunos. 

Apesar das limitações inerentes aos estudos quantitativos ba- 
seados em avaliações de larga escala, a maior parte dos fatores de 
eficácia e equidade, identificados a partir dos dados das escolas 
públicas baianas, são similares aos fatores obtidos em outros estudos 
nacionais e internacionais, inclusive em diversos estudos qualitati- 
vos. As informações produzidas pela Avaliação de Desempenho 2004 
permitiram um aprofundamento e uma visão global e abrangente 
do quadro educacional do estado, fundamentais para a formulação 
de políticas públicas. 
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APENDICE 


Variáveis 

Tipo de Medida 

Descrição 

Nível 1 - Alunos 

DESEMPENHO 

Contínua 

Escore TRI 

SEXO 

0=Masculino 

l=Feminino 

Sexo do aluno informado no questionário 
socioeconômico 

NSE 

Contínua 

índice baseado no Critério Brasil da 

ABIPEME (varia de 0 a 20) 

ESTRUTURA FAMILIAR 

Composta por quatro variáveis 
indicadoras 

1= mora apenas com mãe 

1= mora apenas com 0 pai 

1= não mora com os pais 

1= menciona outras pessoas 

Com quem 0 aluno mora (composta por 
quatro variáveis indicadoras) 

Indicadora de morar apenas com a mãe 
(sem 0 pai) 

Indicadora de morar apenas com 0 pai (sem 
a mãe) 

Indicadora de morar sem os pais 

Indicadora de outras pessoas na casa do aluno 

Mora_mãe 

Mora_pai 

Mora_sem pai e mãe 

Pessoas 

DEIXESC 

0= Nunca deixou 

1= Deixou por um ano 

2= Deixou por dois anos 

3= Deixou por três anos 

4= Deixou por quatro anos 

5= Por cinco anos ou mais 

Abandono. Número de anos que 0 aluno 
deixou de frequentar a escola 

NREPET 

0= Nunca repetiu 

1= Repetiu uma vez 

2= Repetiu duas vezes 

3= Repetiu três vezes 

4= Repetiu quatro vezes ou mais 

Repetência. Número de anos que 0 alunos 
repetiu até a 4 a série 

PLANSUP" 

0=Não 

l=Sim 

Planos de realizar curso superior 

AMICOOl* 

0= Não tem ou poucos 

1= Tem alguns ou muitos 

Amigos na sala de aula 

RESP01* 

0 = Nunca ou raramente 

1 = Frequentemente ou sempre 

Ser tratado com respeito e atenção pelo 
professor 

DIFCULOl' 

0 = Não 

1 = Sim 

Indica dificuldade para fazer os deveres de 
casa 

Nível 2 - Escolas 



PR_DIFIC 

Contínua 

Proporção de alunos com dificuldade nas 
tarefas de casa 

NSE_ESC 

Contínua 

Nível sócio econômico médio dos alunos da 
escola 

NSE_SD 

Contínua 

Desvio padrão do NSE dos alunos da escola 

DEIXMED 

Contínua 

Número médio de anos de abandono dos 
alunos da escola 

NREPMED 

Contínua 

Numero médio de repetências dos alunos 
da escola 

Nível 3 - Municípios 



IDH-M 

Contínua 

índice de Desenvolvimento Humano 
Municipal 


Quadro 1: Variáveis utilizadas nos modelos contextuais 
Fonte:Castro (2008) 
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Variável 

Descrição 

Média 

Desvio 

Padrão 

Mínimo 

Máximo 

SEXO 

Indicadora de sexo feminino 

0,52 

0,50 

0 

1 

PLANSUP 

Indicadora de planos de curso superior 

0,67 

0,47 

0 

1 

NSE 

índice de nível socioeconômico 

11,42 

3,60 

0,00 

20,00 

MORAPAI 

Indicadora de morar apenas com o pai 

0,06 

0,24 

0 

1 

MORAMÃE 

Indicadora de morar apenas com o pai 

0,31 

0,46 

0 

1 

SEMPM 

Indicadora de morar apenas com o pai 

0,17 

0,38 

0 

1 

PESSOAS 

Indicadora de morar apenas com o pai 

0,68 

0,47 

0 

1 

DEIXESC 

Número de anos que deixou a escola 

0,29 

0,90 

0 

5 

DIFCUL01 

Indicadora de dificuldade nas tarefas 

0,66 

0,47 

0 

1 

AMIC001 

Indicadora de amigos na sala de aula 

0,91 

0,28 

0 

1 

RESPE01 

Indicadora de respeito e atenção do professor 

0,93 

0,25 

0 

1 

MAT_TRI 

Escore TRI em Matemática 

51,36 

9,77 

8,17 

86,19 

NREPET 

Número de vezes que repetiu 

0,72 

0,92 

0 

4 

PORT_TRI 

Escore TRI em Matemática 

51,38 

9,70 

11,85 

87,07 

DEIXMED 

Média de anos de abandono 

0,37 

0,38 

0 

5 

PR_DIFIC 

Proporção de alunos com dificuldade 

0,69 

0,12 

0 

1 

NSE_ESC 

Média do nível socioeconômico 

10,82 

1,66 

3,64 

16,56 

NSE_SD 

Desvio-padrão do nível socioeconômico. 

3,36 

0,56 

1,10 

5,63 

NREPMED 

Média do número de repetências 

0,79 

0,28 

0 

2,25 

IDH-M 2000 

índice de Desenvolvimento Humano Municipal 

0,63 

0,05 

0,52 

0,81 


Quadro 2: Estatísticas descritivas das variáveis utilizadas modelos ajustados 
Fonte: Castro (2008) 


Equações de nível 1 - Alunos 

Yijk = 71 ojc +n ijc SEXO +n 2jc NSE + n 3Jl MORA _PAI+n 4Jl MORA _ MÃE + 

+n SJ[ SEMPAI _ MÃE +n 6 j c PESSOAS +n J}[ DEIXESC +n 8J , NREPET +e iJk 

Equações de nível 2 - Escolas 

d oj, = â 0 k + â a k R _DIFIC + â Q k NSE _ESC + â e k NREPMED + â s k (FATOR ) + r 0]í 

ó ? jç = âq k + âj k DEIXMED + â 2 k ( FATOR ) + r 7Jc 

õ 8Jl = â 8 k + â s k NSE _ESC + â s k NREP _MED + â a k (FATOR) + r 8J . 

õ pjk = â p0k poro p*2,7e8 

Equações de nível 3 - Municípios 

Pi k = Y ooo +T ooiIDFl 2000 + U 0 k (1) 

Pfl k ~y 010 

Pi t = Y 020 + To2iIDH2000 + Uq k (2) 

Pa k = Y 030 

fiqOk^lqO P am <1*0 

Obs. O IDH dos municípios foi centralizado na média geral. 


Quadro 3: Equações do modelo básico com fator escolar genérico - Matemática 
Fonte: Castro (2008) 
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292 ROSANA DE FREITAS CASTRO 


Nota: Valores entre parênteses correspondem ao erro padrão da estimativa. Exceto nos casos destacados com asterisco, todos as estimativas são significantes a 5%. 
(*) Efeito não significativo (p-valor > 0,10) 

(1) Coeficiente estimado com baixa confiabilidade, considerado fixo nos modelos seguintes. 


Modelo 5 

3,7691 

0,2084 

7,2130 

0,7624 

0,5117 

69,8615 

330556,12 

r — 1 

m 

1899,01 


0,000 

330618,12 

Modelo 4 
Básico 

4,1034 

0,2356 

7,5719 

0,8104 

0,6117 

72,7107 

332455,13 

27 

3,07 

H 

0,080 

332509,13 

Modelo 3 

Controle municípios 

4,111208 

0,22150 

7,57533 

0,81282 

0,61073 

72,70534 

332451,14 

29 

7,19 

CM 

0,027 

332509,14 

Modelo 2 
Controle escolas 

4,23908 

0,24417 

7,57666 

0,81294 

0,61048 

72,70606 

332458,33 

27 

366,32 

VO 

O 

O 

CD 

o~ 

332510,33 

Modelo 1 
Controle alunos 

3,17820 

11,02510 

0,0085o*** 

1,00452 

0,80820 

72,52509 

332824,65 

21 

4893,03 

17 

O 

O 

O 

O' 

332870,64 

Modelo Nulo 

3,6518 

11,5722 

81,9995 

337717,68 


1 

1 

1 

] 

1 

1 

1 

337725,68 

Efeitos aleatórios 

Nível 3-Municípios 

Intercepto (u00) 

Inclinação NSE_ESC (u02) 

Nível 2- Escolas 

Intercepto (r0) 

Inclinação NSE (r2) 

Inclinação DEIXESC (r7) 

Inclinação NREPET (r8) 

Nível 1 - Alunos 

Deviance 

N° de parâmetros estimados 

Dif Deviance (D -Danterior) 

Graus de liberdade 

p-valor 

AIC 


o 

'O 


o 


o 

T3 


f§ 

^ CN 


O 

u 


u 


LO 

o 

o 

A 


rt 

Ph 
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Nota: Valores entre parênteses correspondem ao erro padrão da estimativa. Exceto nos casos destacados com a (*) todos as estimativas são significantes a 5%. 
(*) Efeito não significativo (p-valor >0,10) 

(1) Coeficiente estimado com baixa confiabilidade, considerado fixo nos modelos seguintes. 
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School effectiveness in 
primary schools: the role 
of school climate and 
composition characteristics 


Claudia Schuchart (University of Wuppertal, Alemanha) 


INTRODUCTION 

In recent years International organizations have clearly been pay- 
ing more attention to education. For instance, in April 2000 the 
participants of the World Education Forum committed themselves 
to the goal of providing education for all by the year 2015. In Brazil, 
the goal of total inclusion of school-aged children has been nearly 
reached (INEP). Nonetheless, this quantitative success is not reflected 
in quality of outcome; because of poverty and its consequences like 
malnutrition, diseases, child labor, and irregular school attendance, 
a large number of students still do not score very well on achieve- 
ment tests. (INEP, 2002; 2007; KLEIN, 2006; UNESCO, 2001, p. 27) 

A central question to policy makers and researchers is, therefore, 
how student achievement levei can be improved and how social 
inequalities can be compensated for. The research on international 
school effectiveness provides a large number of íindings which 
support the assumption that schools significantly afifect children’s 
development. In Brazil, increasing eíforts have been made over the 
past ten years to implement large-scale assessments (both nation- 
ally and on a state-wide basis) in order to evaluate the productivity 
of the educational system. The analyses of those studies are often 


very technical, taking into account countless aspects of the issue 
and employing highly complex models. In the following, I will 
present selected fmdings from school effectiveness research (SER) 
in developed and developing countries, the aim being to provide a 
ffamework for a rather parsimonious model of analysis. 


OVERVIEW OF LITERATURE AND 
RESEARCH QUESTIONS 

WESTERN SCHOOL EFFECTIVENESS RESEARCH (SER) 

Before describing Western school effectiveness research, the con- 
cept of “effectiveness” must be clarified somewhat. Because a large 
amount of variance in basic skills achievement in Western coun- 
tries can be explained by social background, the question whether 
schools can compensate for the effect of family characteristics on 
achievement plays a major role. Definitions of school effectiveness 
have changed over the years. (TEDDLIE, et al„ 2000); one of the most 
influential of these definitions, the so-called “value added” perspec- 
tive, asserts that outcomes like basis skills must be controlled for 
entrance characteristics. (SCHEERENS; BOSKER, 1997) Mortimore 
(1991, p. 9) provides a general defmition along these lines: “An ef- 
fective school is one in which pupils progress further than might 
be expected fforn consideration of its intake.” Stoll and Fink (1996, 
p. 28) suggest speaking of “all pupils” (instead of only pupils) in 
order to combine the value added and equity approaches. In other 
words, successful schools should reduce the impact that family 
background has on achievement and therefore allow everyone to 
reach a certain achievement levei. 

SER in Western countries began with economically driven input- 
output studies (e.g. COLEMAN, 1966; JENCKS, et al., 1972). The re- 
sults indicated that differences in children’s achievement were more 
strongly associated with family socioeconomic status (SES) than with 
school-based resource variables. The main criticism of this work cen- 
tered around its highly simplified input-output model, which treated 
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schools as “black boxes”, meaning that processes which influence 
leaming and teaching in schools had not been observed. Starting from 
this point, a number of subsequent studies considering such process 
factors showed that schools differ remarkably in this field and do in 
fact have a signiíicant impact on a pupiTs cognitive outcomes. 

One of the early proponents of these studies was Ron Edmonds, 
who focused on urban, low-SES elementary schools. He developed 
a highly influential five factor model of school effectiveness which 
takes into account the following aspects: strong, instructional lead- 
ership from the principal; a pervasive and broadly understood in- 
structional focus; a safe and orderly school learning environment or 
“climate”; high expectations for achievement from all students; and 
the use of student achievement test data for evaluating the success 
of particular programmes and of the school as a whole. The concept 
of the school as a social institution, which already appears in this 
early model, has been further developed by other researchers. For 
instance, one of the most important findings of Rutter’s (1979) influ- 
ential study was that collectively-shared norms, beliefs and attitudes 
are associated with teachers’ sense of responsibility, Identification 
with the school, and social acceptance. This can result in increased 
leveis of achievement, net of social background. (WANG, et al., 1997) 
The conditions for this kind of productive atmosphere were col- 
laborative working relationships among teachers and a democratic 
form of leadership. These and similar aspects of schools as a social 
institution appear ffequently in various lists developed in recent 
years of characteristics shared by effective schools. (SCHEERENS; 
BOSKER 1997; TEDDLIE et al., 2000) 

Earlier SER studies had already found that characteristics of peer- 
group background affect pupils’ achievement. Rutter believed that 
context characteristics related to SES and prior achievement have a 
direct impact on current achievement, but are only marginally asso- 
ciated with school process characteristics. However, recent research 
has shown that there are, in fact, important relationships between 
the characteristics of school composition and school process. Schools 
with high social class or high ability intakes, for example, are more 
likely to have fewer disciplinary problems, and to attract and retain 
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talented and motivated teachers (for a summary, see OPDENAKKER; 
VAN DAMME, 2001, p. 409; THRUPP; LUPTON, 2006). Furthermore, 
the true efifect of school process variables would be overestimated 
if school composition variables were not included in the model. In 
all, an investigation of school input and school process factors must 
take the composition of schools into account. 

SCHOOL EFFECTIVENESS RESEARCH 
IN DEVELOPING COUNTRIES 

Since the 1970S, a small but increasing number of school research 
studies have been carried out in developing countries. For a long 
time, many of these studies were characterized by an interest in 
easily manipulable input factors. Many findings indicated that the 
relationship between individual characteristics and achievement is 
less pronounced than in developed countries. This was explained by, 
among other factors, a small overall variance in socioeconomic sta- 
tus and associated characteristics in the population. (HEYNEMANN; 
LOXLEY, 1983) School effects were found to be greater than those of 
family, although in later studies these results could not be replicated. 
(RIDDELL, 1989) Nonetheless, individual background characteris- 
tics are of significantly lesser importance for achievement in third 
world countries than in developing countries. School effectiveness 
researchers in developing countries has therefore not focused on 
the question of how schools can reduce the impact of social back- 
ground characteristics on achievement; instead, their efforts seek to 
determine “how to provide the best education for all with limited 
resources”. (RIDDELL, 1989, p. 187) 

A number of studies suggest that schools in developing countries 
are of greater importance for achievement than schools in developed 
countries (for Brazil, see OECD/PISA, 2003). This general finding can 
be attributed to large diíferences in educational quality caused by 
the rapid expansion of the school systems of developing countries 
in the second half of the 20 th century, which was accompanied by 
increasing resource constraints. (BEDI; MARSHALL, 1999; RIDDELL, 
1989, p. 185) As a result, resource input factors vary largely within 
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and between developing nations. School research in developing 
countries long focused on the impact of input characteristics like 
teacher salary or class size. (FULLER; CLARKE, 1994; JANSEN, 1995) 
However, only a few consistent findings have been derived from 
the numerous studies on resource input characteristics: the avail- 
ability of textbooks and reading material, the quality of teachers (as 
determined by knowledge of subject matter and amount of training), 
and instructional time. (FEFLLER; CLARKE, 1994; HANUSHEK, 1995, 
1997) Fuller and Clarke, however, point out that the investment in 
basic inputs aífects achievement only in low-income countries where 
minimal standards have not yet been realized. (FULLER; CLARKE, 
1994, p. 134; HANUSHEK, 1995) In threshold countries with a higher 
standardization levei of resource conditions, human and material 
input characteristics only account for a small part of average achieve- 
ment levei. (BACOLOD; TOBIAS, 2005; MCEWAN; MARSHALL, 2004) 
Recent studies show that this holds true for Latin-American countries 
as well. (FULLER, et al„ 1999; INEP, 2002; WILLMS; SOMERS, 2001) 
One of the problems of school effectiveness research in develop- 
ing countries is that it has concentrated on material and human 
resource input factors while largely ignoring process character- 
istics. (FULLER; CLARKE, 1994; JANSEN, 1995; RIDDEL, 1989, 1997) 
A number of researchers have highlighted the notion that cultural 
characteristics of schools, meaning the beliefs, norms and attitudes 
of people learning and working in schools, can help to understand 
how basic inputs are mobilized within schools and classrooms. 
(FULLER; CLARKE, 1994) Since the 1990S a new approach toward 
school research has evolved, which talces as its starting point the 
understanding of educational quality inside schools and classrooms, 
and is described by Jansen (1995, p. 195) as “school quality research” 
(for an example of such research in the context of South África, see 
CARRIM; SHALEM, 1999), HARBER; MUTHUKRISHNA, 2000) This 
research approach is influenced by anthropology and descriptive 
procedures, and employs ethnographic instruments; hence, it is 
vulnerable to the criticism commonly levelled against qualitative re- 
search based on size and representativeness of samples, uncontrolled 
entrance selectivity, and use of subjective effectiveness criteria. 
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However, only a few large scale studies taking school process char- 
acteristics into account have been carried out. As Scheerens points out, 
the results indicate that the impact of school organizational condi- 
tions is relatively minor (SCHEERENS, 1999, p. 43; see also GLEWWE, 
et aE, 1995; MCEWAN; MARSHALL, 2004; ZHANG, 2006). Nonetheless, 
his implication is that because of the improving quality of physical 
and human resources conditions, organisational factors will become 
more significant. (SCHEERENS, 1999, p. 43) This is thought to be 
particularly true for threshold countries such as Brazil. 

An unanswered question is whether or not school composition 
variables influence the effect of input and process factors. As yet, 
few studies have considered the role played by context variables (for 
example, see HARBISON; HANUSHEK, 1992; LEE, et ai., 2005). Using 
data ffom eleven Latin American countries, Willms and Somers 
(2001) have shown that the socioeconomic levei of schools affects 
achievement in mathematics in only four countries, including Brazil. 
In Brazil, an increase of one standard deviation in the socioeconomic 
levei of schools leads to an increase of mathematics achievement 
by 20% of one standard deviation. Because standardized tests are 
used in this study, this enhancement is equivalent to about two 
months of schooling. However, because the database represents 
Brazil as a whole, regional effects might underlie the school effects. 
Furthermore, the analyses provide no information regarding the 
relationship between school composition characteristics and input 
or process factors. 

SUMMARY AND RESEARCH QUESTIONS 

As described above, schools are of great importance for the leaming 
outcomes of pupils in developing countries, where pupils’ social 
background characteristics account for comparatively little variance 
in achievement. It can be assumed that in threshold countries like 
Brazil, a) the standardization of input resource conditions leads to a 
decreased variance in achievement between schools, and b) a wider 
variety of socio-economic characteristics in the population leads to a 
higher influence of family characteristics on cognitive outcomes, in 
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which case schools are more hard-pressed to compensate for social 
disadvantages. Thus, I first ask a) to what extent schools differ in 
their average achievement and socio-economic levei, and b) to what 
extent schools differ in their impact upon the relationship between 
family socio-economic characteristics and academic outcomes. 

SER in developing countries has shown that only a small num- 
ber of physical and human input conditions consistently affect 
pupils’ learning outcomes. In accordance with Scheerens (1999, 
2001) I assume that in threshold countries like Brazil, the improving 
quality of resources conditions has led to an increased efficacy of 
organisational factors. Following central findings of Western SER, 
characteristics of school climate should be particularly important 
in explaining between-school variance in achievement. Thus, my 
second question asks whether these characteristics can contribute to 
explaining the variance in average achievement between schools. 

Recent studies have shown that context characteristics have an 
impact on pupils’ learning and reduce the effect that input and 
process factors have on achievement. SER carried out in developing 
countries provides evidence that context variables indeed affect 
academic achievement. However, the studies have not yet addressed 
the relationship between context, input and process variables. Thus, 
as a final question, I ask to what extent a) composition character- 
istics affect the effect of input and process characteristics, and b) 
how compositional characteristics are associated with input and 
process characteristics. 


DATA SOURCES AND MEASURES 

This study utilized data ffom the 2001 evaluation study Desempenho 
do Ensino Fundamental, which was carried out in all urban schools in 
Bahia. The database includes achievement measures of Portuguese 
and mathematics, and family background characteristics of fourth 
and eighth grade students. Moreover, school and teacher charac- 
teristics were collected by questionnaires administered to teachers 
and principais. 
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For the following analyses I focus on children in the fourth grade, 
using only their test score in mathematics as a measure of achieve- 
ment, as this score is determined less by family characteristics than 
is the language test score. To make sure that the analyses carried 
out only deal with data collected from teachers actually involved in 
basic primaiy education, only schools offering primary education 
for pupils in grades 1 through 4 were included.. Furthermore, only 
schools from which more than two teachers and more than fourteen 
pupils answered the questionnaire were considered. The final sample 
contains 35,403 pupils and 3,885 teachers from 1,041 schools. 

SOCIO-ECONOMIC STATUS 

The pupils’ socio-economic status was measured in line with the 
Critério de Classificação Econômica Basil (CCEB), an index (summed 
score) which takes into account the possession of certain private 
goods and the educational levei of the head of the household. For 
the Baianian study, pupils were only asked if their family possesses 
one or more of a certain item, while more detailed information is 
collected in order to generate the CCEB score. Nonetheless, in order 
to compare the distribution of socio-economic status in the sample 
with its distribution in the population, I have attempted to construct 
an index from the data available, adopting the CCEB system of points. 
(ASSOCIAÇÃO BRASILEIRA DE EMPRESAS DE PESQUISA, 2003) 

In 2007, a new classification system for socio-economic status 
was introduced. However, my analyses utilize the 1997 classification 
system in order to facilitate comparison with the population in 2001. 
As can be seen in Figure 1, the distribution by socio-economic status 
in Brazil and, even more strikingly, in the district of Salvador, is 
obviously right skewed, meaning that those belonging to families 
from lower social classes are over-represented compared to a stand- 
ard distribution (for newer data, see ASSOCIAÇÃO BRASILEIRA DE 
EMPRESAS DE PESQUISA, 2007; KLEIN, 2006). Because the sample 
represents the urban areas of Bahia and not only the capital district, 
the amount of people from lower social classes in this sample is 
significantly higher than in the district of Salvador (Chi-square = 
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9484 , 9 ***)- Thus, the overall variance in socio-economic status in 
the sample is rather small. 



[TUBrazil 

53dis. of Salvador 
Dsample 


Figure 1: Distribution of socio-economic status in 2000 (Brazil, district of Salvador) 
and 2001 (sample); Critério de Classifição Econômica Brasil 

Note: The letters on the x-axis refer to social classes defined by CCEB. Al is the 
highest social class, and E the lowest. Point system: Al = 30-34, A2 = 25-29, BI = 
21-24, B2 = 17-20, C = 11 -1 16, D = 6-10, E = 0-5 (ASSOCIAÇÃO BRASILEIRA DE 
EMPRESAS DE PESQUISA, 2003) 


For the following analyses, it was necessary to optimize the 
measurement of socio-economic status. 1 The optimized index, which 
incorporates information about selected goods (radio, television, 
bathroom, reífigerator, and telephone) and the parents’ educational 
levei, ranges ffom o (no goods, primary education not completed) to 
19. 68 % of all pupils fali in the interval between 5.0 and 11.6 points. 


OTHER INDIVIDUAL VARIABLES 

Table 1 includes the individual characteristics considered for the 
analyses. The test score in mathematics is constructed by using 
classical test theory. Pupils could earn a maximum of 20 points. 
Cognitive capability was approximated by self-estimation: 21% of 
all pupils questioned think they have more problems learning than 
the majority of their fellow pupils. 


1 One of the reasons 
was that in the sample, 
the answers regarding 
both private household 
goods and the parents’ 
educational levei are 
partially unreliable. 

This can be attributed 
to problems with 
understanding; it may 
not have been clear for 
all children answering 
the questionnaire what 
exactly “servant in the 
household” or “car” 
meant. Dueto the lack 
of detailed explication 
in the questionnaire, we 
have to assume that 
some children mistook 
their father’s company 
car for the family’s car, 
for example. Thus, the 
relationship between the 
test score in mathematics 
and the number of certain 
goods possessed should 
not be assumed to be 
linear. 
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Boys, who drop out of school more often than girls, are slightly 
under-represented in the sample (only 46.8% of all respondents 
were male). 15% of all pupils work after school, with 39% of these 
pupils working more than 4 hours per day. The majority of pupils 
live within a 30 minute walking distance frorn the school, indicating 
that schools in urban areas are quite accessible. 

The school career variables show that a large number of pupils 
had already interrupted their school career for more than 4 weeks 
and/or had repeated a school year at least once. Accordingly, these 
children are, on average, older than typical fourth grade pupils 
(entrance age for compulsory education: seven years). 


Table 1: Individual characteristics (N=35 403) 


Variable 

Mean / % 

SD 

Min-Max 

Test score in mathematics 

12.97 

4.0 

0-20 

learning problems (cognitive capability) 

20.9 


0-1 

Sex (female) 

53.2 


0-1 

Family (only one parent) 

32.0 


0-1 

Work after school (yes) 

15.0 


0-1 

Distance to school (> 30 min) 

12.0 


0-1 

School career interrupted 

16.2 


0-1 

Repetition of school year 

52.5 


0-1 

Age 

11.3 

1.5 

9-14 

Socio-economic index 

8.3 

3.3 

1-19 


SCHOOL characteristics: principals and teachers 

96% of primary school teachers are female. About a third of these 
teachers work at more than one school. This reflects the compara- 
tively low salary earned by school teachers in Bahia. Due to the 
rapid expansion of the school system in the last years and, thus, 
the increased demand for teachers, more than half of the teachers 
is younger than 35. Principals are typically older than teachers and 
have, therefore, more professional experience on average. 
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Table 2: characteristics of principais and teachers (human resources, %) 



Teachers (N=3885) 

Principais (N=1041) 

Professional experience (years) 

<10 

41.4 

3.8 

11-20 

35.6 

74.3 

> 20 

23.0 

21.9 

Education 

Primary education only 

2.2 

0.8 

Secondary education only 

83.7 

60.7 

University degree 

14.1 

38.5 


The majority of teachers and school principais possess at least the 
educational levei required for teacher qualification; indeed, 14.1% of 
teachers and 38.5% of school principais have an university degree 
(Table 2). The variables addressing sex, employment by more than 
one school, and age are not included in the table because in the 
analyses they did not have a signiíicant impact on pupils’ achieve- 
ment. Regarding human resources, the analyses focus on profes- 
sional experience and educational levei, which have proven to be 
important for academic outcomes in many other studies as well. 

SCHOOLS characteristics: input and process factors 

Most schools in the sample have no overhead projector, Computer, 
printer or copier; the only device commonly possessed by most 
schools is a television. The dummy information on these physi- 
cal resources was summed up to a facility index, assuming that it 
measures the general material situation at a school (Table 3). Fur- 
thermore, principais were asked whether or not they perceive the 
availability of further input characteristics as a problem. Problems 
are particularly apparent in the availability of financial resources 
and assistance programs. About half of the head teachers in the 
sample report that they do not have enough instruction material 
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and staíf (i.e. caretakers, secretaries, etc.). Only about 14% perceive 
a lack of teaching staff at their school. 


Table 3: Input resources and school climate (N=1041) 



Mean/% 

SD 

No of Items 

Min-Max 

Cr. a 

Facilities 

2.54 

1.64 

Index 

0-7 


Problem: finances 

58.1 



0-1 


Problem: technical staff 

47.5 



0-1 


Problem: assistance programes 

65.4 



0-1 


Problem: instructional material 

51.5 



0-1 


Problem: professional staff 

14.3 



0-1 


School climate and leadership 

Shared norms 1 

4.11 

0.44 

8 

1-5 

0.75 

H igh expectations 2 

3.46 

0.79 

1 

1-5 

- 

Identification with school 3 

4.45 

0.47 

9 

1-5 

0.90 

Collaboration (-) 4 

2.12 

0.66 

6 

1-5 

0.68 

Use of test for evaluation 5 

4.66 

0.47 

1 

1-5 

- 

Discipline 6 

3.76 

0.61 

4 

1-5 

0.53 

Aggression 7 

1.60 

0.51 

3 

1 - 3 

0.46 

Teacher support (no) 8 

0.21 

0.08 

1 

0-1 

- 

Participative leadership 9 

4.39 

0.54 

4 

1-5 

0.81 


Item examples : 1 Todos, nesta escola, sabem o que ela prioriza . 2 Nesta escola, os padrões de desempenho acadêmico 
dos alunos são altos . 3 Eu me sinto orgulhoso(a) dizendo às pessoas que sou parte integrante da escola onde trabalho . 4 
Os professores desta escola trabalham isoladamente em suas disciplinas . 5 Utilizo os resultados alcançados pelos alunos 
nas avaliações para avaliar meu próprio trabalho . 6 Disciplina é um dos principais problemas que a escola enfrenta . 7 
Violência contra alunos, professores e funcionários (diretor ). 8 Neste ano, para realizar suas tarefas em casa e na escola, 
você está: fazendo suas tarefas, sozinho(a), com dificuldade, porque os professores não ajudam muito . 9 Nesta escola, 
participo das decisões importantes a respeito do trabalho escolar. 


Principais and teachers were asked about their perception of 
values, meanings and beliefs shared among members of the teach- 
ing and administrative staff. Based upon the research findings on 
school climate in the Western literature cited above, I focused on 
central characteristics such as shared norms, Identification with 
the school, an orderly and safe climate, and participative leader- 
ship. Furthermore, I included the item “use of tests for evaluation” 
because this characteristic was found to be important in a number 
of previous studies. 
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I decided to rely on answers given by teachers, mainly because 
any measure of school climate ought to reflect the school’s character 
in regard to shared values and beliefs which are associated with 
certain behaviour demonstrated by the principal and the staff. (VAN 
HOUTTE, 2005) Only for the perception of disruptive behaviour as 
an aspect of an “orderly and safe learning climate” did I rely on 
answers given by principais’ perception. 

In their study Schools make a difference, Teddlie and Stringfield 
(1993, P- 246) observed that school climate factors observed by stu- 
dents were better predictors of achievement than factors observed 
by teachers. In the present study, pupils were only asked if they 
feel supported by their teachers or not. Thus, this variable will be 
included as an indicator of a student-oriented climate. Finally, nine 
aspects of school climate will be considered (Table 3). 

CHARACTERISTICS OF SCHOOLS: CONTEXT 

Recent work on school composition effects has suggested a multi- 
dimensional analysis model. Composition characteristics used in 
the present study include mean SES, proportion of repetition and 
proportion of students who had interrupted their school career for 
at least four weeks. In line with other research findings, I assume 
that the experience of interrupting one’s schooling is associated 
with a sense of negative self-esteem, reluctance in regard to school 
activities, and lack of discipline. In terms of a single class or school, 
a concentration of pupils with an interrupted school career can be 
interpreted as a strain on the process of learning of all pupils. To 
approximate ability, I used the percentage of pupils who admitted 
having learning problems. 

Table 4 shows that on average, schools have an interruption rate 
of 17% and a repetition rate of 54%. Strikingly, the repetition rate 
ranges from almost zero ( 4 %) to 100%: In three schools, less than 10% 
of pupils had already repeated at least one school year, while in five 
schools this was true for more than 90% of the pupils. 
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Table 4: school composition characteristics (N=1041) 



Mean 

Min 

Max 

SD 

Self estimation: learning problems 

.21 

.00 

.56 

.08 

SES 

7.90 

2.00 

12.95 

1.4 

Interruption rate 

.17 

.00 

.54 

.09 

Repetition rate 

.54 

.04 

1.00 

.14 


INPUT SELECTIVITY 


In order to investigate school effects, the selectivity of input has 
to be controlled for; otherwise, the effect of school characteristics 


2 According to Cohen 
(1988), r > .1 indicates 
little effect, meaning the 
relationship observed is of 
little relevance, whereas 
r > .3 indicates a médium 
effect, and r > .5 a large 
effect. 


might be confused with the effect of input selectivity. In Brazil, the 
community or federal State is responsible for the administration of 
public schools, whereas the State schools are rather better equipped. 
In urban areas, parents are normally able to choose either a com- 
munity or a State school. It can be assumed that ambitious parents 
are more likely to choose a State school. The correlation between 
type of administration and family socio-economic background is r = 
.19*, indicating a moderately pronounced relationship 2 . Beyond the 
type of administration, local processes of differentiation and seg- 
regation are mainly responsible for different kinds of composition 
among schools. Input selectivity will be controlled for by considering 
socio-economic status at the individual levei and the type of school 
administration at the school levei. 


METHOD 

In assessing the effects of individual, family and school variables on 
achievement, I use hierarchical linear regressions. (RAUDENBUSH; 
BRYK, 2002) With these models, it is customaiy to first partition the 
variation into within-school and among-school components, and 
then discern what percentage of the variance at each levei can be 
accounted for by the explanatory model. To answer the first research 
question, I will estimate baseline or “null” models for achievement 
in mathematics and socio-economic status, which determines the 
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proportion of variance within and between schools. Then I will 
estimate a random-coefficient-model to investigate to what extent 
the relationship between socio-economic background and achieve- 
ment in mathematics varies between schools. To answer the research 
questions, input, process and composition characteristics will first 
be included in separate models. In order to estimate the net effect 
of the different categories of variables, a final model including 
all variables will be carried out. The existence of the relationship 
between different kinds of school characteristics will be proved by 
using correlation analyses. 


EMPIRICAL RESULTS 

DISTRIBUTION OF SOCIO-ECONOMIC 
STATUS AND SCHOOLING OUTCOMES 

The variation within and between schools in SES and schooling 
outcomes is displayed in Table 5. In mathematics achievement, the 
variance between schools is 15.7%, significantly less than the amount 
reported by other Brazilian studies. Willms and Somers (2001), for 
instance, using data ffom a Latin American study on grade 3 and 4 
cohorts in Brazil as a whole, reported the figure of 31%. This compari- 
son with other Brazilian studies (see, for example, ESPOSITO, DAVIS, 
NUNES, 2000, p. 39) indicates that a larger between-school variance 
can be reached only at the State levei and might be attributed to 
regional and administrative (private vs. public) differences. 

Within-state student achievement is rather homogeneous, in- 
dicating that the between-school variance in urban areas in Bahia 
is not larger than in industrial countries (for instance, in studies 
carried out in the U.S., about 13% of variance in schooling outcomes 
can be explained at the school levei; see TEDDLIE, et al., 2000, p. 83). 
This can be understood as evidence that the standardization of public 
school condi tions has so far succeeded within federal States. 
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Table 5: Variance within and among schools in SES and schooling 
outcomes 


Baseline Model 


Mean 

SD 

Variance between schools Variance within schools 




% 

% 

Mathematics 

12.96 

4.0 

15.7 

84.3 

SES 

8.32 

3.3 

15.9 

84.1 

Random coefficient model 

SES, slope 



4.6 



The variance in SES among schools is 15.9%. This measure is an 
indicator of the extent to which students are segregated among 
schools. The percentage indicates that in public urban schools in 
Bahia, only a small degree of segregation exists. Again, a signifi- 
cantly higher degree of segregation (47.3%) was found by Willms 
and Somers (2001). 

The variance among schools in achievement is as small as the 
variance among schools in SES. This suggests that the relationship 
between socio-economic background characteristics and achieve- 
ment only differs to a small extent. Looking at the results for the 
random coefficient model, the variance components of the slope 
show that schools, in fact, do not differ in the impact they have 
on the relationship between SES and achievement in mathematics. 
Thus, the problem of equity that has bothered numerous school 
effects researchers in Western countries seems not to be relevant 
to urban Brazilian schools. Looking at Table 6, it becomes clear 
that socio-economic status has a significant, though (relative to 
other individual characteristics) small, effect on pupils’ outcome. 
The random coefficient model proves that this effect holds true for 
each school. 

Thus, in the following I will ignore the question of equity. In the 
next step, I focus on the relationship between school characteristics 
and average achievement levei. 
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Table 6: Achievement in mathematics and characteristics at the individual and school 


levei (regression coefficients) 



MO 

Ml 

M2 

M3 

M4 

M5 

Mathematics achievement 

12.82 

14.81 

15.00 

14.98 

14.92 

14.93 

Individual characteristics 

Learning problems 


-1.40* 

-1.40* 

-1.40* 

-1.40* 

-1.40* 

Sex (female) 


-.45* 

-.46* 

-.46* 

-.46* 

-.45* 

Age z 


-.09* 

-.08* 

-.08* 

-.08* 

-.08* 

One-parent family 


-.08* 

-.09* 

1 

b 

oo 

-.08* 

-.09* 

Work after school 


-.42* 

-.42* 

-.42* 

-.42* 

-.41* 

Distance (> 30 Min) 


-.95* 

-.95* 

-.95* 

-.95* 

-.94* 

SES z 


.54* 

.54* 

.54* 

.54* 

.52* 

Repetition 


-1.12* 

-1.12* 

-1.12* 

-1.12* 

-1.11* 

Interruption 


-1.44* 

-1.44* 

-1.44* 

-1.44* 

-1.41* 

Resources 

Qualification levei (principal) 2 



.04 



.02 

Professional experience 
(principal) z 



.0.14 



.05 

Qualification levei (teacher) 2 



.03 



.00 

Professional experience 
(teacher) 2 



.09 



-.02 

Facilities 2 



-.05 



-.03 

Finances (-) 



.01 



.09 

Professional staff (-) 



.02 



.03 

Technical staff (-) 



-.12 



-.05 

Assisting programs (-) 



.05 



.04 

Instructional material (-) 



-.25* 



.06 

School climate 

Norms 2 




.04 


-.03 

High expectations 2 




.08+ 


.04 

Identification 2 




.16* 


.12* 

Collaboration 2 (-) 




.00 


.02 

Use of tests 2 




-.01 


-.02 

Discipline 2 




.05 


.07 

Aggression 2 (-) 




-.17* 


-.19+ 

Participatory leadership 2 




.01 


.04 

% Teacher support 2 (-) 




-.47* 


-.32* 

Composition 

% Learning problems z 





.07 

.09* 

SES 2 





-.15* 

.10+ 

7o Repetition 2 





1 

i— ‘ 
q 

-.06 

7o Interruption 2 





-.51* 

-.41* 

Random Coefficients 

Within schools 

13.67 

11.85 

11.85 

11.85 

11.85 

11.85 

Between Schools 

2.54 

2.00 

1.91 

1.69 

1.60 

1.50 


Note: z standardized variables. * p < .05, + p p < .10. The models have been adjusted for the effects of test type (tipo 
prova) and administration (rede). 
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STUDENT CHARACTERISTICS AND ACHIEVEMENT 


The paper does not focus on the impact individual characteris- 
tics have on achievement. Nonetheless, I will highlight the most 
important findings in this regard (Model 1). The strongest effects 
of individual characteristics are associated with cognitive capabil- 
ity (measured as the self-estimation of learning problems) and 
biographical characteristics: Interruption or repetition of a school 
year reduces average achievement by 1.4 points and 1.1 points, 
respectively. Compared to primary school students of other Latin 
American countries, Brazilian students experience repetition and 
interruption more often. (WILLMS; SOMERS, 2001, p. 421) Another 
important variable is distance from school: the average achieve- 
ment score of children who live more than a 30 minute walking 
distance from school drops by one point. Moreover, boys demon- 
strate higher cognitive achievement than girls. This is in line with 
international findings demonstrating that boys have an advantage 
over girls in mathematics achievement in most States. (UNESCO 
2006) Furthermore, achievement is significantly affected by socio- 
economic status and age. 

In total, 13.4% of the variance within schools is explained by 
student background characteristics. That means that besides the 
variables considered in the study, there must be other cognitive or 
family characteristics affecting cognitive outcomes. For instance, 
Willms and Somers (2001, p. 429) show that variables represent- 
ing the “cultural capital” of families - activities such as reading to 
children or helping with homework - have a considerable impact 
on achievement. However, such variables were not considered in 
the present study. Another reason for the small amount of vari- 
ance explained could be the inferior reading capabilities of grade 
4 students, which might not allow for an adequate understanding 
of the questionnaire. Note that by including the variables at the 
individual levei, between-school variance drops by 21%, meaning 
that more than one-fifth of the differences between schools is caused 
by input selectivity. 
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PREDICTORS AT THE SCHOOL LEVEL! INPUT FACTORS 


A second model takes into consideration human and physical re- 
source conditions which have been found to be significant in other 
studies. Model 2 shows that principais' perceived lack of instruc- 
tional material is associated with reduced average achievement (for 
corresponding results, see also WILLMS; SOMERS, 2001, p. 428). The 
marginal role of these characteristics in explaining between-school 
differences in Bahia might be attributed to the lack of hard facts: 
head teachers were only asked about their perception of certain 
problems, not about the actual circumstances underlying those 
perceptions. 

Considering the eífects of human resources, it becomes clear that 
the professional experience of principais is positively associated 
with school performance (see also HANUSHEK, 1995, 1997). The 
resulting boost in achievement, however, is rather small. In contrast 
to other studies, the qualification levei of teachers and principais 
has no impact on student achievement. In this regard, it has to be 
taken into account that only a very small proportion of teachers 
have either more or less qualification than that required for the job. 
Furthermore, the teachers who answered the questionnaire might 
not necessarily be the teachers who taught mathematics in grade 4. 
Considering these conditions, it seems reasonable to assume that 
teacher training has no measurable effect on student outcome. 

Altogether, input factors considered explain only 4.5% of between- 
school variance. This is in line with the assumption that in a thresh- 
old country like Brazil with standardized education conditions, input 
factors play only a marginal role in academic achievement. 

PREDICTORS AT SCHOOL LEVEL: SCHOOL C LI MATE 

To answer the second research question, characteristics of school cli- 
mate are considered in the third model. In line with the assumption 
that characteristics of school climate take on particular importance 
in countries with standardized resource conditions, some of these 
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factors have an effect on achievement in mathematics. In successfnl 
schools, teachers are more committed to their school. Interestingly, 
two factors of EdmoncTs five factor model play a significant role 
in the present model as well, namely high expectations regarding 
pupil achievement and a safe learning climate (“aggression”). In all, 
these characteristics explain 6 % of between-school variance. The 
most important of school climate variables is teacher support as 
perceived by pupils, which additionally accounts for about 10% of 
between-school variance. However, the measurement of “supportive 
behaviour of teachers” may not be veiy reliable because it consists of 
only one item, which might include aspects of cognitive capability 
and/or prior levei of achievement. Hence, the “true effect” of this 
variable may be smaller. 

When school-climate characteristics are taken into account, the 
amount of explained between-school variance accounts for 15.5% 
of between-school variance. This effect is over twice as large as 
that of input characteristics. These findings confirm the view of 
Scheerens (1999, 2001), who assumed that the role of school climate 
characteristics would become more significant in characterizing suc- 
cessíul schools in threshold countries. However, the effect of these 
characteristics is mostly attributed to pupils’ perception, indicating 
that pupils can more readily identiíy a productive school climate 
than can teachers. 

PREDICTORS AT THE SCHOOL LEVEL! SCHOOL COMPOSITION 

The results in Model 4 show that school composition variables have 
an enormous effect on mathematics achievement. The interruption 
rate has the strongest effect on average achievement levei. When 
controlling for composition characteristics, schools exhibit an aver- 
age test score of 14.9. An increase in the standardized interruption 
rate by one standard deviation corresponds to a 0.51 point decrease 
in mathematics, all other characteristics being equal. The SES com- 
position and the repetition rate have both a significant impact on 
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achievement, but to a clearly lesser extent than the interruption 
rate. The amount of explained between-school variance is 20%, indi- 
cating that the composition characteristics of a school are of great 
importance for student achievement. 

Interestingly, the approximate measurement of the intellectual 
context of schools (based on the amount of students indicating 
the presence of learning problems) is of no importance. It might 
be assumed that a more precise measurement would yield a much 
stronger effect. 

PREDICTORS AT THE SCHOOL LEVEL! INPUT FACTORS, 

SCHOOL CLIMATE, AND SCHOOL COMPOSITION 

In the final model, all schoolTevel characteristics are included (M5). 
The fact that input characteristics no longer have an effect in this 
model confirms the assumption drawn by the comparison of model 
2 and model 3: School process variables seem to be more effective 
in characterizing successful schools than input variables. The ef- 
fects of school climate variables decreased, but the characteristics 
of teacher support, identification with the school, and, to a lesser 
extent, a safe climate (aggression) are still significant. In comparison 
with other variables at the school levei, the interruption rate is the 
strongest predictor of average school achievement. Finally, 35% of 
the between-school variance in achievement in mathematics can 
be accounted for by the ítill model. 

CORRE LATION BETWEEN SCHOOL CHARACTERISTICS 

In Model 5, the change in effect size of previously significant vari- 
ables shows that there are interdependencies between the variables. 
As mentioned earlier, it can be assumed that context characteristics 
reduce the effect of school variables. Next, I will explore the rela- 
tionship between selected composition characteristics, on the one 
hand, and input and process factors on the other hand. 
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Table 7: Correlation between input and process factors and composition characteristics 


(N=1041) 


Input factors 

SES 

Interruption 

rate 

Process factors 

SES 

Interruption 

rate 

Qualification principal 

.22 


Shared norms 

- 

-.06 

Experience principal 

.21 

-.12 

High expectations 

.07 

-.07 

Qualification teacher 

.22 

- 

Identification 

- 

-.07 

Expectation teacher 

.19 

-.12 

Collaboration (-) 

- 

- 

Facilities (-) 

-.26 

.05 

Commitment 

- 

- 

Finance (-) 

- 

- 

Use of tests 

- 

-.07 

Professional staff (-) 

- 

- 

Discipline (-) 

- 

- 

Technical staff (-) 

- 

- 

Aggression (-) 

-.08 

.07 

Assistance programs (-) 

- 

- 

Leadership 


- 

Instructional material (-) 

-.09 

.08 

Teacher support (-) 

-.20 

.29 


Note: * p < .05. 


Table 7 indicates that the amount of teachers and principais is 
associated with interruption rate and SES composition. Moreover, 
the qualification levei of teachers and principais is lower at schools 
with a higher amount of pupils ffom disadvantaged backgrounds. 
Obviously, these schools face more problems in attracting well- 
qualified, experienced staff. 

Schools with low SES composition and high interruption rates 
are characterized by a lack of physical facilities and instructional 
materiais. Pupils behave more aggressively and teachers expect less 
ffom their pupils. Moreover, in schools with a high interruption rate, 
teachers rarely use the results of evaluations, and they identify less 
with their school. However, the correlation coefficients are generally 
so small that they cannot be considered relevant. (COHEN, 1988) 

A considerable relationship was found between SES composition, 
interruption rate and the perception of teacher support on the 
part of pupils. It may be assumed that pupils ffom disadvantaged 
backgrounds and interrupted school careers depend more on the 
assistance of teachers. Nonetheless, the higher the proportion of 
these pupils, the more difficult it becomes for teachers to provide 
the support needed. This problem becomes more serious if one 
talces into account that schools with less favourable composition 
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have a smaller amount of experienced and well-qualified members 
of teaching and managing staff. 

INTERRUPTION RATE AND INDIVIDUAL 
CHARACTERISTICS AT THE SCHOOL LEVEL 

The interruption rate is the most important factor for explaining 
between-school variance, but it is correlated with other school char- 
acteristics to a rather small extent. In a final step, the relationship 
between the interruption rate and other individual characteristics 
aggregated at the school levei will be investigated. In order to clearly 
depict the data, I constructed categories on the basis of standard 
deviation (Mean: 17%, standard deviation 9%) 


Table 8: Interruption rate and other composition characteristics at 
the school levei (N = 1041; %) 


Interruption rate 

One-parent family 

Work after school 

Distance (> 30min) 

Sex (female) 

.^o 

o" 

CO 

V 

32 

15 

10 

53 

8 -17% 

33 

16 

12 

53 

17-24% 

34 

19 

15 

53 

> 24% 

34 

25 

16 

50 


As Table 8 indicates, schools with a high interruption rate are also 
characterized by a high number of pupils which have to work after 
school and a comparatively high number of pupils who need more 
than thirty minutes to reach school on foot. The change in other 
composition characteristics such as sex and one-parent families is 
virtually indistinguishable. These findings indicate that schools with 
high interruption rates are located in marginalized, impoverished 
urban areas. 


SUMMARY AND CONCLUSION 

In summary, school characteristics in Baianian urban areas are 
of no greater importance for average achievement levei than in 
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Western countries. This result corresponds with findings by Baker 
at al. indicating that the enhancement of the school system of a 
country leads to a reduced variance in achievement between schools. 
However, because the Baianian study focused only on urban public 
schools, a considerable amount of variance between schools at- 
tributed to rural location or private administration could not be 
taken into account. 

As in Western studies, the highest amount of overall variance 
can be attributed to factors on the individual levei. However, only 
13,4% of the within-school variance can be explained by conventional 
characteristics such as socio-economic status, sex, and school career 
variables. In order to enhance the understanding of the determi- 
nants of the individual learning process, characteristics regarding 
the cultural and social capital of families might be considered in 
further studies. 

The assumption that school process characteristics are more im- 
portant in successful schools than input conditions was confirmed. 
However, the characteristics perceived by teachers and principais 
contribute rather marginally to the explanation of between-school 
variance. Here, the most influential factor is the supportive behav- 
iour of teachers, as perceived by pupils. Supportive behaviour is a 
professional ability that is more likely to be displayed by experienced 
teachers and can be developed as part of the overall school climate 
by well-qualiíied and experienced principais. In light of this, the 
finding that schools with problematic composition characteristics 
suffer from a lack of experienced and well-qualiíied teaching and 
managing staff is rather alarming. 

School composition factors are not only associated with human 
resource factors, but also correspond to the presence of material 
facilities and instructional materiais. Moreover, the school climate 
of schools located in marginalized areas is less productive, and the 
behaviour of teachers (use of tests, expectations) not as professional, 
than in schools located in less-marginalized areas. In all, teachers 
and principais in socially marginalized schools face more problems 
than their counterparts in other areas in creating a productive learn- 
ing atmosphere. This finding can be seen as a demand for politicians 
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to especially support schools which are at a disadvantage in terms 
of attracting well-qualified and experienced teachers, but also in 
terms of “soft factors” such as assistance programs and supportive 
monitoring systems. 
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INTRODUCTION 
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Class size reductions are commonly perceived as a policy that can 
positively impact on students’ outcomes. 

The empirical evidence, though, is not as strong as the conven- 
tional belief. Traditionally, no consistent relationship has been iden- 
tified between class sizes and student achievement. (VIGNOLES, et 
al., 2000; WEBBINK, 2005) However, a growing number of studies 
have been challenging the traditional findings by better tackling 
potential biases caused by omitted variables, such as choices made 
by parents and schools. Most of these have found some positive 
effects associated with smaller classes (e.g. ANGRIST; LAVY, 1999; 
AKERHIELM, 1995; BLATCHFORD, et al., 2002; CASE; DEATON, 1998; 
KRUEGER, 1999; RTVKIN; HANUSHEK; KAIN, 2005), although some 
still find either no relationship or larger classes being beneficiai (e.g. 
DOBBELSTEEN; LEVIN; OOSTERBEEK, 2002; HOXBY, 2000). These 
analyses rely either on controlled experiments or on natural or 
institutional changes that generate an exogenous variation in class 
sizes comparable to randomised experiments. (WEBBINK, 2005) 
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This chapter will discuss how effectively institutional rules (i.e. 
laws and regulations, such as Maimonides’ Rule in Israel) allow as- 
sessing the relationship between class size and student achievement. 
In order to do that, it will focus on the strengths and limitations of 
one of the most influential papers among the above cited ones. The 
study under review is Angrist and Lavy (1999), often referred to by 
others. It uses an instrumental variable that has been adapted and 
applied elsewhere. (e.g. DOBBELSTEEN; LEVIN; OOSTERBEEK, 2002; 
GARY-BOBO; MAHJOUB, 2006; LEUVEN, OOSTERBEEK; RONNING, 
2005; URQUIOLA, 2006). 

Before exploring in detail the reviewed study, a brief discussion 
will situate the reader on the methodological issues concerning the 
evaluation of class size effects (section 2) and the ways to possibly 
deal with them (section 3). Then the reviewed paper will be described 
(section 4) and analysed in terms of its purposes (section 5), as well 
as in relation to the limitations of quantitative methods on policy 
recommendations - and how adding a qualitative element could 
provide further insights into the quantitative fmdings (section 6). 
Final remarks are subsequently made in section 7. 


ISSUES CONCERNING THE EVALUATION 
OF CLASS SIZE EFFECTS 

Education economists often dedicate efforts to research the effects 
of educational resources on student achievement, and class size 
is regarded as one possible proxy for resources. Economic evalua- 
tions of educational interventions are frequently conducted through 
education production functions. These see student performance 
(e.g. in standardised tests) as the outcome of a cumulative process 
of knowledge acquisition. (TODD; WOLPIN, 2003, cited in WEBBINK, 
2005) This implies that today’s performance is not a consequence 
only of current efforts of the child or family and school inputs, but 
rather a result of the full history of family (dis)advantage, school 
effects and student endowments. 
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THE ENDOGENEITY PROBLEM 


The virtual impossibility of collecting data on all the possible rel- 
evant characteristics of students, their families and schools, rein- 
forced by the failure of the economic theory in specifying all the 
factors affecting achievement, bring about a key methodological 
issue. (ANGRIST; KRUEGER, 2001; WEBBINK, 2005, citing KRUEGER, 
1999 ) This issue is t heprobable omission of relevant variables and, conse- 
quently, a Mas on the estimated effecls of the intervention, “in case these 
unobserved factors are related both to the intervention and to the 
performance indicator”. (WEBBINK, 2005, p. 538) 

The endogeneity ofschool quality is a special case of the omitted 
variable bias. It arises because school quality is not independent of 
schooling choices and, therefore, instead of exogenously determined, 
it is actually the outcome of the interactions between the decisions 
made by the educational stakeholders (parents, schools and the 
government). As long as such stakeholders are able to malce choices 
that affect each other’s behaviour and decisions, “school quality 
will be positively correlated with the wealth and social advantage 
of children’s families [and thus] some of the apparent gain from 
additional school quality will in fact be a ‘return’ to pupils’ socio- 
economic background”. (VIGNOLES, et ah, 2000, p. 10) 

In Figure 1 below, the key difíiculty would lie in isolating the net 
effects of school resources (vector 5), assuming that the chikTs socio- 
economic characteristics affect his/her achievement both directly 
and indirectly (through influences on resource allocation and on 
the child’s initial ability). 



Figure 1: A theoretical model of factors affecting student outcomes 
Source: Unnever, Kerclchoff and Robinson (2000) 
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In the case of assessing the causal effects of class size on student 
performance, the endogeneity problem reflects two facts. On the one 
hand, parents may choose where their oífspring will study partly 
based on the size of the classes advertised by schools. On the other 
hand, the size and composition of the classes are determined by 
schools. (DOBBELSTEEN, LEVIN; OOSTERBEEK, 2002) Consequently, 
naive Ordinary Least Squares (OLS) regressions, by not considering 
this problem, produce biased estimators that will be inconsistent 
even in infmite samples, because the covariance between the error 
term and the class size measure is not zero. (AVERETT; McLENNAN, 
2004; LEVACIC, et al„ 2005) 

Therefore, “the key issue is whether the relationships observed 
between class size and achievement can be due to further ‘confound- 
ing’ factors which have not been accounted for”. (BLATCHFORD, et 
al„ 2002, p. 171) 

HETEROGENEITY 

Reducing class sizes might impact differently on the achievement 
of diverse student groups. The beneíits of smaller classes may be 
more associated with certain types of students and thus to specific 
class compositions. 

Indeed, Averett and McLennan (2004, p. 52) summarise that, for 
studies efifectively controlling for the endogeneity of class sizes, “[...] 
the weight of the evidence indicates to us that smaller classes do result 
in higher student achievement for some students and some classes”. 
Hence, it is important to analyse not only the average class size effect 
for the entire sample, but also its impact on diíferent groups. 

Quantile regressions, randomised control trials and matching 
methods could be cited as examples of techniques that could control 
for heterogeneity. Alternatively, estimating different regressions 
for pupils with diíferent characteristics (e.g. gender, social class, 
ethnicity) could provide some information on the cases when class 
size reductions are more effective. 
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FUNCTIONAL FORM 


Most of the studies examining class size effects assume a linear 
relationship between achievement and class size. (BLATCHFORD et 
al., 2002) This assumption implies the same impact of reductions 
regardless of initial class size. 

Figlio (1999) rejects the linearity assumption for the effects of 
school inputs on student outcomes and proposes a translog functional 
form. Using quantile regressions, Eide and Showalter (1998, cited 
in VIGNOLES, et al., 2000) also contest this assumption. Concerning 
specifically the class size debate, Blatchford, et al. (2002) allow for 
different marginal effects by employing cubic regression spline. 

The uncertainty about the nature of the relationship is attribut- 
able to the lack of an established theoretical model guiding empirical 
research. (FIGLIO, 1999) Notwithstanding, it is expected that quality 
research will make it possible to test the functional fornis used with 
statistical rigour. (VIGNOLES, et al., 2000) 

THE CLUSTERING COMPONENT IN THE DATA 

Education is provided to students in different classes, schools and 
districts or local authorities. The educational experience is likely to 
be diverse for each pupil, but some common resources (e.g. teacher, 
facilities) and experiences are shared by those at the same school 
and, especially, by those in the same class. Therefore, when tested 
by standardised tests, those students sharing a higher number of 
common school factors are likely to present a narrower range of test 
scores in comparison to the entire score distribution across schools. 
In other words, there are intraschool correlations in pupils’ responses. 
(STEELE; VIGNOLES; JENKINS, 2007) 

Due to the hierarchical nature of educational data, models aim- 
ing to predict the class size effects on student performance should 
allow for between-pupil, between-classroom and between-school 
variations. (BLATCHFORD, et al., 2002) 
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INN O VATIVE METHODS TO IDENTIFY 
CAUSAL EFFECTS IN EDUCATION 


To overcome the methodological issues identified in the previous 
section researchers employ various methods. The major objective 
is to generate or isolate exogenous variations in class sizes, in order 
to deal with the key issue - i.e., the endogeneity problem. These 
methods are summarised below. 

RANDOMISED CONTROLLED TRIALS 

The most effective way to deal with the endogeneity problem is to 
run well-designed randomised controlled experiments (GLEWWE, 
2002), because “random assignment of students to an experimental 
and a control group eliminates bias of factors not observed by the 
researcher”. (KRUEGER, 1999 apud WEBBINK, 2005, p. 540) Neverthe- 
less, experiments in education are costly and may face ethical and 
political barriers, be affected by attrition and be difficult to replicate 
in the wider population (LEVACIC, 2005), limiting the applicability of 
their findings to specific policy interventions. (TODD; WOLPIN, 2003) 
Furthermore, the absence of a “blind” trial may lead to “Hawthorne 
effects” (i.e., participants’ awareness of being in an experiment and 
their motivation to make it “work” driving the results towards a 
particular direction, as pointed out by Hoxby, 2000). 

The most famous class size experiment is the American Student/ 
Teacher Achievement Ratio (STAR) project in the 1980S. (DOBBELSTEEN, 
LEVIN; OOSTERBEEK, 2002; KRUEGER, 1999; LEVACIC, 2005; WEBBINK, 
2005) This experimenfs results pointed to higher achievement in 
smaller classes (KRUEGER, 1999), although the validity of such findings 
has been contested based on the criticisms mentioned above. 

MATCHING 

Matching is a method “based on the assumption that conditioning 
on observables eliminates selective diíferences between programme 
participants and non-participants that are not correctly attributed 
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to the programme being evaluated”. (HECKMAN, ICHIMURA; TODD, 
1998, p. 282) This method aims to isolate the effect of an intervention 
(e.g. class size reduction) by comparing two sets of observation units 
(the ‘treatment’ and the ‘control’ groups) that are assumed identical 
in all other relevant observable characteristics, except for receiving 
‘treatment’. This can be done by using the “so-called balancing scores 
b(X), i.e. functions of the relevant observed covariates X such that the 
conditional distribution of X given b(X) is independent of assignment 
into treatment”. (CALIENDO; KOPEINIG, 2008, p. 32) A possible and 
widely used balancing score is the propensity score matching, which 
is “the probability of participating in a programme given observed 
characteristics X”. (CALIENDO; KOPEINIG, 2008) 

This technique is largely used in very diverse fields of study, 
as Caliendo and Kopeinig (2008) indicate. In the evaluation of 
class size effects, however, matching has not been used as much, 
perhaps because it demands extensive sets of high quality pre- 
treatment observables. 

VALUE-ADDED MODELS 

Value-added models include the pupils’ previous ability in the equa- 
tion, either as a control variable or as a component of the outcome 
variable (e.g. student achievement defined as test score obtained in 
time 1 minus test score obtained in time 0). It improves single equa- 
tion educational production íunction models because it Controls 
for most of the child’s family, school and learning history up to the 
point when the baseline test was administrated. 

However, value-added models do not sufhciently overcome the 
endogeneity problem because “even allowing for the child’s initial 
attainment, it may still be the case that the effect of the resourcing that 
the child actually experiences is systematically related to their family 
background and prior attainment”. (VIGNOLES, et al., 2000, p. 13) 

INSTRUMENTAL VARIABLE S 

Researchers use instrumental variable (IV) methods to obtain con- 
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sistent estimators when relevant variables are likely to be omitted. 
(WOOLDRIGE, 2002) The IV approach is a statistical treatment of 
the data aiming to isolate the exogenous part of the variation in 
class sizes (i.e. the part that is not determined by unobservable 
factors, such as education stakeholders’ behaviour and pupils’ 
ability, and is, therefore, random). The IV is “a variable correlated 
with the intervention but otherwise unrelated to the test score”. 
(WEBBINK, 2005, p. 540) The net effect of class size, or vector 5 in 
Figure 1 above, can be estimated with Two Stage Least Squares (2SLS): 
first, regressing class size on the IV and other exogenous variables, 
and then regressing the test score on the variation in class size due to 
the IV, together with other Controls. 

The IV approach has been ffequently used to account for endo- 
geneity of school quality variables. (STEELE; VIGNOLES; JENKINS, 
2007) Instruments have been mainly derived from institutional rules 
or natural variation. (NASCIMENTO, 2008; WEBBINK, 2005) The pa- 
per reviewed in the next sections is a widely cited example of an 
institutional rale talcen as an instrument. 


ANGRIST AND LAVY’S (l999) ASSESSMENT 
OF CLASS SIZE EFFECTS IN ISRAEL 

THE DATA SET 

Angrist and Lavy (1999) use data on test score from a national test- 
ing programme administrated in Israeli primary schools at the 
end of the 1990-1991 and 1991-1992 academic years. Mathematics 
and (Hebrew) reading slcills were tested. Fourth and fifth graders 
were given the achievement tests in the first year and third graders 
in the second year. Data on class sizes carne from administrative 
sources and were collected between March and June of the school 
year starting in September. 

The unit of observation is the class - “although micro data on 
students are available for third graders in 1992, for comparability 
with the 1991 data, we aggregated the 1992 micro data up to the 
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class levei” (pp. 537), which does not seem to concern the authors 
as “the literature on class size often treats the class as the unit of 
analysis and not the pupil” (pp. 546). 

Average Maths and Reading scores for each class were linked with 
data on school characteristics and class size ffom the administra- 
tive sources. Specifically, “[t]he linked class-level data sets include 
information on average test scores in each class, the spring class 
size, beginning-of-the-year enrolment in the school for each grade, a 
town identifier, and a school-level index of students’ socioeconomic 
status that we call percent disadvantaged (PD). Also included are the 
variables identifying the ethnic character (Jewish/Arab) and religious 
affiliation (religious/secular) of schools” (pp. 537-538). 

The PD index, “a function of pupils’ fathers’ education and conti- 
nent of birth, and family size” (pp. 538, footnote 8), was identified as 
a key control variable “because it is correlated with both enrolment 
size and test scores” (pp. 538). Arab schools were not included in the 
study, not only because they were not given Reading tests in 1991, 
but because no PD index was computed or published for them until 
1994. Independent religious schools were also excluded, because 
their curriculum differed significantly ffom the others. Therefore, 
the study was restricted to the Jewish public school system. That 
means over 2,000 classes per grade and about 62,000 pupils in total 
were considered. 

The average public school class in the data set had about 30 pupils, 
and in average 78 students were enrolled per grade in each school. 
Ten percent of classes had more than 37 pupils, and ten percent 
had less than 22. 

The authors note that the average score distributions were simi- 
lar for fourth and fifth graders, “but mean scores are markedly 
higher, and the standard deviations of scores lower for third graders” 
(pp. 538). They attribute these differences to a probable “[...] system- 
atic test preparation effort on the part of teachers and school officials 
in 1992, in light of the political fallout resulting from what were felt 
to be disappointing test results in 1991”. (ANGRIST; LAVY, 1999) 
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“MAIMONIDES’ RULE” AS AN INSTRUMENT 

Angrist and Lavy (1999) explain that the Israeli public school system 
determines the division of enrolment cohorts into classes based 
on a maximum class size rule derived by an interpretation of the 
Babylonian Talmud made by the great twelfth century Rabbinic 
scholar, Maimonides. This consuetudinary rule States a maximum 
class size of 40. 

The rule can be used as an Identification method as it “induces 
a discontinuity in the relationship between enrolment and class 
size at enrolment multiples of4o” (pp. 540). It means that class size 
varies “abruptly and predictably” (HOXBY, 2000, p. 1252) every time 
enrolment exceeds a multiple of 40, when a new class needs to be 
formed. Put another way, at the points of discontinuity the school 
average class size drops íforn 40 (when grade enrolment is 40, 80, 120 
etc) to 20.5 (when the 4i st , 8i st , i2i st etc student is enrolled), reflecting 
an exogenous variation created by the institutional rule. 

Therefore, Maimonides’ rule may be a good instrument for the 
discontinuity sample (group of schools with enrolments in a range 
close to the points of discontinuity). 

Angrist and Lavy (1999) first propose a mixed-effect model that 
accounts for school characteristics and class size, plus error terms 
for each levei (class, school and pupil). Student background (PD 
index) is aggregated at the school levei and goes into the vector of 
school characteristics. For the ith student in class c and school s, the 
authors write the education production function as follows: 

(1) 

y isc n sc U "I - ]l c Tis ^ isc 

They interpret the above equation as describing the average poten- 
tial outcomes of students under altemative assignments of class sizes, 
controlling for any effects of school characteristics and accounting 
for random effects related to the child, the class and the school. 

Given that they are only able to do comparable analysis between 
grades at class-level, because the micro-level data are unavailable 
for fourth and fifth graders, and considering the literature tendency 
to treat the class as the unit of analysis, the authors group the first 
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equation in the class-level estimating equation of the form below 
(over bars denote averages): 

( 2 ) _ _ 

y S c = X>s$ + n sc OL + T\s + f// c + ê sc ] 

These initial equations, however, do not account for the endo- 
geneity problem. To do that, a 2SLS is performed. The notation for 
the first-stage relationship is expressed as (f c being the class-size 
function derived ffom the Maimonides’ rule): 

(3) r r 

fsc^l êsc 

Therefore, the institutional rule of no more than 40 is the instru- 
ment predicting the actual class size experienced by a particular 
student. 

After equation 3 is estimated, the second stage is done using equa- 
tion 2, which gives, for the discontinuity sample, the effect on the 
test scores of the variation in class size due to the IV. The authors 
present a variety of both OLS and 2SLS estimates for each grade. 

MAIN FINDINGS AND CONCLUSIONS 

Angrist and Lavy (1999) find some positive effects on class size re- 
ductions, particularly for fifth graders, for whom such effects were 
large for both Reading and Maths scores. Smaller effects were found 
for Reading scores of fourth graders, whose Maths scores were not 
significantly affected by the size of the classes, “though pooled 
estimates for fourth and fifth graders are significant and precise on 
both tests” (pp. 569). No relationship was found for third graders. The 
authors conjecture that these results might indicate a cumulative 
effect of class size reductions (i.e. years experiencing small classes 
may be required before any benefits become noticeable). 

Published when a bill imposing a new maximum class size of 30 
was being discussed in the Israeli Parliament, Angrist and Lavy’s 
(1999) paper asserts that such a change “could have an impact 
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equivalent to moving two deciles in the 1991 distribution of class 
averages” (pp. 569). 

It is also considered that the results presented are unlikely to be 
relevant for other countries, where schools may experience other 
class size averages and range, in addition to cultural, political and 
economic differences. This is a consequence of the fact that “instru- 
mental variables provide an estimate for a specific group — namely, 
people whose behavior can be manipulated by the instrument”. 
(ANGRIST; KRUEGER, 2001, p. 77) 

Finally, the study highlights that without tackling the endogeneity 
problem, the findings would guide to misleading conclusions, as “[t]he 
raw positive correlation between achievement and class size is clearly 
an artefact of the association between smaller classes and the propor- 
tion ofpupils from disadvantagedbackgrounds” (pp. 569), suggesting 
that those who look solely at traditional literature may be prematurely 
assuming no causal eífects of school resources on learning. 


A CRITIQUE OF ANGRIST AND LAVY (l999) 

THE DISTINCTIVENESS OF THE STUDY 

Angrist and Lavy (1999) became quickly a classical reference for 
discussing the IV approach as a method to isolate the exogenous 
portion of class size determination. This may be partly due to the 
clarity and simplicity of the adopted identification strategy, and 
mostly because, for specific class size ranges, the instrument shows 
correlation with the explanatory variable of interest and is generally 
accepted as uncorrelated with achievement. 

The study is, therefore, illustrative of how institutional rules can 
establish a discontinuous relationship between enrolment and class 
size and, consequently, be considered analogous to running a field 
experiment. (DOBBELSTEEN, LEVIN; OOSTERBEEK, 2002) 

Moreover, it is certainly relevant, in terms of policy recommen- 
dations, for the Jewish educational public system in Israel, where 
Maimonides’ rule operates. 
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THE LIMITATIONS OF THE STUDY 


In spite of its contributions to ongoing class size debate, the study 
by Angrist and Lavy (1999) suffers from a number of limitations. 

First, as the authors themselves point out, the presented findings 
are unlikely to be relevant for policy decisions in any setting other 
than the Jewish public school system in Israel. This is so because 
diíferent educational systems are subject to diíferent incentives and 
constraints raised by cultural, social, economic, political and institu- 
tional factors. Even within Israel, the school systems excluded from 
the analysis (Arab schools and Jewish independent private schools) 
are unlikely to present the same responsiveness to class size rules. 

Second, as admitted by the authors, the adopted identiíication 
strategy is valid only for a restricted sub-sample of Jewish public 
schools (the discontinuity sample) where grade enrolment sizes 
are around the class discontinuity points (40, 80, 120 etc). As Hoxby 
(2000, p. 1253) puts it: 

[I]f one uses a rule that binds only in some schools, one learns 
about the effects of class size only for those schools. For 
instance, in Angrist and Lavy’s [1999] data, the maximum 
class size rule does not bind in districts that serve well-off 
households. It is useful to estimate the effect of class size only 
for less-well-off students, but one must be careful to inter- 
pret the results appropriately. If better-off districts actually 
have maximum class size rules of their own that they follow, 
then using a statewide rule that does not bind everywhere is 
throwing away useful variation. 

Indeed, the analysis of Angrist and Lavy (1999) is relevant only for 
the discontinuity sample, which includes solely schools with grade 
enrolments in the set of intervals {[36,45], [76,85], [116,125]}. This cor- 
responds to less than 25% of all classes. Concerning the groups most 
affected, though, Angrist and Lavy (1999, p. 567) remark that: 

[T]he analysis of affected groups indicates that the estimates 
presented here are affected disproportionately by smaller 
schools and by schools with fewer disadvantaged pupils than 
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average, although the variation in impact along this second 
dimension is much more modest than the first. 

Apart from the groups that are most affected by the Maimonides’ 
rule, two diíferent class or school sub-samples may present distinct 
class size ranges within which variations are worth checking in order 
to identify the upper size limit above which reductions are more ef- 
ficacious. (HOXBY, 2000) For example, for one sub-sample the useful 
variation in class size may be situated between 16 and 25 students, 
while for another it could be between 20 and 29. Then it would be 
unclear whether “the greater efficacy was due to decreasing returns 
to reductions in class size or greater efficacy in the sort of schools 
that typically choose higher maximum class sizes”. (HOXBY, 2000, p. 
1254, footnote 10) This problem would demand an examination of 
the observation units with lower and higher maximum class sizes 
- which Angrist and Lavy (1999) are unable to do for the classes and 
schools unaffected by the Maimonides’ rule. 

Hoxby (2000) draws attention to another shortcoming of Angrist 
and Lavy (1999). She demonstrates that “predicted class size is not a 
valid instrument except when the rule triggers a change in the num- 
ber of classes” (HOXBY, 2000, p. 1252), because it varies with actual 
enrolment, which is, in turn, correlated with school characteristics 
and the residual term. This implies a requirement to discard the 
“suspected” observations (those not affected by the rule) that lie 
between the discontinuity points, although “Angrist and Lavy [1999] 
[...] are able to do only some of the desirable discarding because 
their cross-sectional data contain too few occurrences of enrolment 
in the right ranges”. (HOXBY, 2000, p. 1253) 

OVERALL STRENGTHS AND WEAKNESSES 

Given the aspects highlighted in subsections 5.1. and 5.2. above, it 
could be argued that Angrist and Lavy (1999) represents a key paper 
in the class size debate because it pioneered the application of an 
institutional rule that does generate exogenous variations in class 
sizes. Although the study is a worldwide reference for research 
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on the effects of class size reduction, the findings are specifically 
relevant for a particular educational setting - a shortcoming that 
has been widely observed. 

The overall strengths and weaknesses of Angrist and Lavy (1999) 
are better assessed by looking at the extent to which they effectively 
deal with the methodological issues summarised in section 2. 

The endogeneity problem 

The paper does address the endogeneity problem. It uses the Maimo- 
nides’ rule on maximum class sizes to isolate the net effect of class size 
variations on student achievement in Jewish public schools in Israel. 

However, as discussed previously, the predicted class size derived 
ffom the Maimonides’ rule is a valid instrument only for the cases 
where the institutional rule generates discontinuities in the average 
class sizes - this is called LATE - Local Average Treatment Effect; 
for elaboration on this, see Imbens and Angrist (1994), Angrist and 
Krueger (2001). 

Therefore, for most of the total sample of classes, the endogeneity 
problem persists. 

Heterogeneity 

The paper Controls for differences in the impact of class size reduc- 
tion across groups by characterising affected groups on the basis 
of some observables and comparing their means. Heterogeneity 
is thus tackled for the groups of classes and schools for which the 
authors have data to run comparisons (namely, school and class 
composition with proxy provided by the PD index, and school size 
based on number of enrolments). 

Additionally, it is worth keeping in mind that the Maimonides’ rule 
seems to be effective only at schools with a high PD index. This fact 
per se restricts, regardless of the authors’ intents, the paper’s estimates 
to disadvantaged schools - a point highlighted by Hoxby (2000). 

The functional form 

As discussed before, there is no theoretical model guiding the class 
size debate on the appropriateness of alternative functional forms 
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to describe hypothesised relationships with student achievement. 
Nonetheless, methodologically strong studies are expected to test 
different educational production functions. The reviewed article 
does not fail in that respect. 

The clustering component in the data 

The authors acknowledge clustering in a conventional econometric 
manner; they allow for class and school fixed effects and adapt the 
standard errors to capture clustering components. Nonetheless, 
they do not use the most efficient method to handle hierarchical 
data - i.e. multilevel models as described in statistical textbooks 
such as Bryk and Raudenbush (2002), Snijders and Bosker (1999) 
and Goldstein (1995). 

In spite of these considerations, it is worth adding that the in- 
strumental variable method used by Angrist and Lavy (1999) and 
by most of the recent research on education production functions 
(including Hoxby, 2000) is not exempted ffom questioning on its 
effectiveness to tackle endogeneity and the other methodological 
problems discussed here (see Steele, Vignoles and Jenkins (2007) for 
a detailed discussion). 


BEYOND THE BIG NUMBERS: FURTHER 
INSIGHTS THAT COULD HAVE BEEN 
ADDED BY A QUALITATIVE STUDY 

Some of the fmdings presented by Angrist and Lavy (1999) do not 
provide elements for vigorous conclusions or policy recommendations. 
This is exemplified in the following quote ffom the reviewed paper: 

The average score distributions for fourth and fifth grade 
classes are similar, but mean scores are markedly higher, 
and the standard deviations of scores lower for third grad- 
ers. We believe the difference across grades is generated by 
a systematic test preparation effort on the part of teachers 
and school officials in 1992, in light of the political fallout 
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resulting from what were felt to be disappointing test results 
in 1991. (ANGRIST; LAVY, 1999, p. 538) 

The finding under consideration here is the significant difference 
in average score distributions between fourth and fifth graders, 
tested in the first year of the programme (1991), and third grad- 
ers, tested in the programme’s second year (1992). Based solely on 
quantitative data, Angrist and Lavy (1999) were only able to make 
an informed guess in attempting to explain the observed difference. 
They conjecture that such dififerences are possibly a result of the 
teachers’ and school officials’ response to the negative repercussion 
of overall bad results for fourth and fifth graders in 1991. The authors 
hypothesise that in 1992, as a reaction for the results obtained in the 
year before, teachers and school officials may have put extra effòrt 
to prepare third graders to sit for the national exams that year. 

This is the authors’ hypothesis. However, they cannot ensure 
that this was the case, because they only have quantitative data 
available. To uncover the actual behaviour of teachers and school 
officials after the release of the 1991 test results, and whether this 
behaviour was any different and likely to impact on pupils’ achieve- 
ment, a complementary qualitative research element would have 
been necessary. This qualitative element could assume various de- 
signs, such as semi-structured interviews, focus groups, observation 
or some other form of the ethnographic approach, and should be 
conducted with teachers and school administrators at the schools, 
particularly those that shown a bigger difference in average scores 
between the tests administrated in 1991 and 1992. 

The complementarily roles of quantitative and qualitative meth- 
ods in educational research have been identified and defended by 
many educational analysts. (EISNER, 1979; LOCKHEED; HARRIS, 2005; 
SALOMON, 1991) The interactions between the two methods enrich 
the research design, providing a wider range of conclusions and a 
deeper understanding of policy implications: 

Statistical models are good at estimating overall effects and, 
when extended into a multilevel framework, enable the 
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variability of effects to be estimated. If, however, we aim 
for an understanding of just why this variability arises then 
data generated from qualitative approaches (...) are valuable. 
(PLEWIS; MASON, 2005, p. 185) 

Salomon (1991) discusses the complementary roles of quantita- 
tive and qualitative methods with examples of studies that seem to 
address the same question but are, in reality, exploring completely 
diíferent aspects of it and reaching, therefore, considerably different 
conclusions - which are not necessarily mutually excluding. Greene 
et al. (1989), cited in Lockheed and Harris (2005), enumerates three 
ways in which quantitative and qualitative approaches complement 
each other: 

• Qualitative studies are used first to construct theoiy and guide 
the development of instruments later used in quantitative 
studies. 

• Qualitative methods are used at the same time as quantitative 
ones for triangulation. 

• Qualitative methods are used after quantitative ones to 
provide deeper understandings of the findings brought by 
quantitative data. 

In the example gin this section, an application of the third way 
is suggested: a qualitative field research follows the achievement 
tests to find out how the intervention impacts on the behaviour of 
the agents involved. 

Notwithstanding, any of the three ways listed above could be used 
to shed light on gray areas of the educational production function ap- 
proach. For example, quantitative data might reveal some resources 
being more effective than others, but they do not reveal how the 
use of certain resources, rather than others, is translated into better 
student achievement. It is likely that a triangulation, for example, 
using both quantitative and qualitative methods could provide some 
useful insights on that. Similarly, it is possible that the theoretical 
model that economists so frequently proclaim as lacking in the 
education production function approach will eventually emerge 
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from qualitative studies aiming to map the inter-relationships that 
define the direction and strength of the vectors identified in Figure 
i shown in section 2 of this essay. 

Certainly, from the findings presented by Angrist and Lavy (1999), 
yet other relevant information could be obtained by policy makers 
from qualitative studies. In particular, one could desire to know why 
some groups are more sensitive to class size reductions than others. 
What makes disadvantaged students benefit more from smaller 
classes than their better-off peers? And what changes in the class 
environment are perceived by teachers, school officials, parents and 
students that might explain why, for those attending smaller classes, 
the test scores were significantly different from their counterparts 
with similar background who happened to be in schools presenting 
enrolment sizes just under the discontinuity point? 

Answers for these questions would not come from the data analy- 
sed by Angrist and Lavy (1999). If such answers can be found at all, 
then it is more likely that these would emerge from qualitative 
data, focusing, for example, on changes in the way teachers teach 
and pupils behave in smaller classes. Therefore, Israeli policy mak- 
ers could probably have benefited much more from the 1991-1992 
national testing programme if they had followed the quantitative 
data collection up with a qualitative research on the changes in 
school environment and on the perceptions and behaviour changes 
of teachers, school administrators, parents and pupils. 


FINAL REMARKS 

This chapter began by discussing the methodological issues concern- 
ing the evaluation of class size effects, and then summarised how the 
relevant literature deals with them. This sets the ground to analyse 
the strengths and weaknesses of Angrist and Lavy (1999). The paper 
by these two authors is well-known for taking advantage of an insti- 
tutional rule on maximum class size existing in the Jewish public 
educational system in Israel to construct an effective instrumental 
variable that causes discontinuity in specific enrolment sizes and 
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thus induces an exogenous variation in class sizes for sub-samples 
situated just after the point of that discontinuity. Following the 
critique on the reviewed study, some examples were given of how 
a qualitative element could have provided further insights into the 
quantitative findings. 

It was shown that, despite some shortcomings that do not dimin- 
ish their distinctiveness to the related literature, Angrist and Lavy 
(1999) provide useful policy insights for the class size debate in Israel, 
although the policy implications could have been far clearer if a 
qualitative approach attempted to uncover some points that were 
out of the inference capacity of quantitative methods. 

Overall, the use of institutional rales as an instrumental variable 
to assess class size effects should be used with caution. When us- 
ing an institutional change such as the Maimonides rale, one can 
look, at most, at its effects on a particular sample extracted from 
a specific context that was directly affected by the law statement. 
Researchers eager to apply similar instruments must be very care- 
ful when drawing conclusions, as their findings are likely to face 
the same constrains pointed out here to Maimonides' rale. They 
should also be aware that there is more underlying the relationship 
between class sizes and student achievement than numbers alone 
can uncover - and thus a research design combining quantitative 
and qualitative methods would potentially provide broaden and 
deeper insights on this topic. 
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